Harald Hals II var gift to ganger; hans andre ektefelle var kunsthistorikeren Anna-Stina Hals (1911–1997).