Herman var nest eldst av barna til gårdbruker Hans Thorensen Nordby (f. 1825) og hustru Mathea Haakensdatter (f. 1828). Etter at han i oppveksten hadde hjulpet faren med gårdsarbeidet gikk han i lære hos baker Gotaas på Jessheim. Dernest fikk han fortsette sine læreår hos baker Simensen i Oslo, hvorfra han ble utlært bakersvenn den 1. juni 1882.