Han giftet seg med legen Liss Aas Bang-Hansen (1907–2002) i 1936. Barna deres er filmanmelder Pål Bang-Hansen, regissør Kjetil Bang-Hansen, og datter og filmstudent Synne Bang-Hansen. De var bosatt i den kulturradikale enklaven Husebyskogen, i Husebygrenda borettslag som oppstod fra diskusjoner blant internerte lærere i Finnmark i 1942. Bosatt i nr 18c fikk Bang-Hansen naboer som August Lange, Hans Vogt, Trygve Bull, Torolf Elster og Kjell Kviberg.