Kahan ble født i Transilvania i byen Sighet (nå Sighetu Marmației i Maramureș), der Elie Wiesel var en av hans barndomsvenner. Han vokste opp som ortodoks, ḥasidisk jøde, noe som blant annet innebar at han som var gutt hadde – lange, uklippede hårkrøller ved hvert øre. Han brukte også tradisjonell kaftan og bredbremmet hatt. I Sighet, som var et sentrum for jødisk kultur, var omtrent halvparten av innbyggerne jøder; kristne og jøder bodde stort sett i ulike deler av byen. Området var etnisk og språklig sammensatt. Blant jødene var det vanlig å beherske ungarsk, rumensk, tysk, tsjekkisk eller russisk i tillegg til jiddisch og hebraisk. Forholdet mellom jøder og kristne i byen var en blanding av samarbeid, mistenksomhet og til dels fiendtlighet. Herman Kahan tilhørte en rabbinerslekt og skulle selv bli rabbiner; 12 år gammel ble han sendt til den kjente rabbinerskolen i farens fødeby Munkacs i Karpato-Ruthenia, Tsjekkoslovakia (nå Mukatsjevo i Ukraina).