Han var sønn av Ole Thorkildshøj og Anne Sofie Eline Poulsen på Nes. Han giftet seg i 1893 med Caroline Fredrikke Petersen, datter av lærer, lagtings- og folketingsmann Johannes Petersen og hustru Susanne Fredrikke Olesdatter på Saltnes. Deres datterdatter Karolina Petersen var sykehjemsforstander og sosialminister.