Hamm-Brücher ble født 11. mai 1921 i Essen som det tredje barnet i en søskenflokk på fem, og hun tilbragte sine første leveår i Berlin. Hennes mor var datter av en fabrikkeier, og hennes far direktør i en privat virksomhet som lagde sveiseutstyr for jernbanesviller. Faren døde i 1931 av blindtarmbetennelse, moren i 1932 av svulst på hjernen. Deretter vokste hun opp sammen med tre søsken hos sin bestemor Else Pick i Dresden. Hun begynte på Schule Schloss Salem, men måtte forlate skolen etter ett år, da nasjonalsosialistene regnet henne som «halvjøde». Det var uten betydning at hun var døpt kristen. Bestemoren Else Pick var opprinnelig jødisk, men konverterte til kristendommen. Hun skulle i 1942 settes i konsentrasjonsleir, men tok sitt eget liv før transporten kom. Hamm-Brüchers to brødre Ernst og Dietmar overlevde krigen i en tvangsarbeidsleir.