Han var sønn av Eiler Ivensen Bryske (d. 1529) og Karen Gyldenstierne. I 1544 ble han beskikket til overberghauptmann i Norge og ble i denne stilling forlent med Skien syssel og Gimsø Kloster. Samme år ble han kaldt tilbake til Danmark for å overta rikskanslerembedet.