Fay var sønn av kongelig fullmektig i Forsvarsdepartementet, Peter Johan Nicolay Fay (1842—99), hvis far var en tysklærer Theodor Fay (1805–1881) som i 1837 flyttet fra Hamburg til Drammen og ble gift med Elise Gude (1821–1886) av Gude-familien. Moren Theodora Zachinka von Ditten (1851–1927) var datter av hoffapoteker Hans Selchier von Ditten (1820–1891) og søster til den kjente svensk-norske ambassadør Thor von Ditten som altså var Hans Heinrich sin onkel. I 1915 giftet Fay seg med enkefru Millicent Gertrude Strong, født McGann (1880–1954) mens han var stasjonert i Melbourne.