I 1939 giftet han seg med alpinisten Johanne "Hannemor" Dybwad (1918–2011), datter av advokat Nils Juell Dybwad og barnebarn av skuespillerinnen Johanne Dybwad. Deres datter Kari Garmann ble politiker.