På Knudstrup demmet han inn den lille sjøen og bygget seg en prektig befestet borg i nordisk renessansestil. Her bodde han og giftet seg 23. november 1544 med Beate Clausdatter Bille og førte dermed de to mektige adelsslektene sammen. De fikk i alt 10 barn, deriblant den senere så berømte astronomen Tyge Brahe samt Steen Brahe til Knudstrup, Jørgen Ottesen Brahe, Knud Brahe og Sophie Brahe.