Thorvald var sønn av Albert Boye (født 1841) og Johanne Hanssen. Han ble i 1907 gift med Mia Esmarch (1880–1966), søster til diplomaten August Esmarch. Thorvald og Mia var foreldre til diplomaten Thore Albert Boye (1912-99), hvis sønn Thorvald Boye (født 1946) også er jurist.