Brahe hadde et fiendtlig forhold til fru Gørvels stesønner fra hennes tidligere ekteskap med lensmannen på Varberg slott, Truid Ulfstand. De utøvde vold på hverandres eiendommer så kong Christian III til sist måtte bryte inn i konflikten, hvoretter han lot riksråd Erik Banner tvinge de stridende partene til forlik.