Hilt var gift to ganger. Med sin første kone Ragnhild Hansen (1896–1957) fikk han sønnene Odd Hilt og Bjørn Hilt. Med sin andre kone Nora Hansen (1905-1990) fikk han datteren Liv Hilt. Den eldste sønnen, Odd Hilt (1915–86), ble billedhogger og motstandsmann. Den andre sønnen, Bjørn, var juss-student. Han omkom i en flyulykke i Sverige på vei til England i 1944.