Hermann vokste opp i Keiserriket Tyskland i byen Gehrde i Niedersachsen, hvor han var det tredje barnet i en søskenflokk på seks. Han giftet seg med Auguste van Pels den 5. desember 1925. Deres eneste sønn, Peter van Pels ble født 8. november året etter – i 1926.