Kort tid etter farens død giftet han seg med Tale Mouridsdatter Emmiksen til Jerstrup. Da svogeren Otte Emmiksens døde i 1579, forførte han dennes enke Margrethe Rantzau med et barn som resultat. Det var strenge straffer for den slags nære forbindelser, og da ryktene kom kong Frederik II for øre, lot han paret stevne til den kommende herredag. De flyktet dog, men våget seg snart tilbake til Søndergaarde. Her skal han ha mishandlet sin hustru og utstedt trusler mot kongen og egnens øvrighet. Det ryktes også at han skulle ha fått et barn med sin søster og siden drept begge to, og at han i 1576 også skulle ha tatt sin mor av dage. Dette ble for meget for kongen, og Brockenhuus ble pågrepet og ført til Københavns slott.