Hermann Abs var sønn av en advokat. Han gikk først på skole, og deretter fra 1919 i banklære, i Bonn. Fra 1921 til 1929 hadde han stillinger i flere banker i inn- og utland. Han var fra 1929 ansatt og fra 1935 deleier i banken Delbrück Schickler & Co. I 1938 ble han medlem av styret (Vorstand) i Deutsche Bank,som den gang hadde hovedkontor i Berlin. Abs var i Deutsche Bank ansvarlig for utenlandsavdelingen.