Han giftet seg med den rike hoffjomfru Birgitte Gøye, som var datter av rikshoffmester Mogens Gøye. En håndfull hjertelige brev fra ham til henne er bevart. Både Trolle og hans kone var kjent for sine ydmyke liv og gode kirkevaner.