Haarmann var yngst av seks barn. Moren var 41 da han ble født, og ble nokså invalidisert av fødselen. Hun var mye sengeliggende frem til sin død i 1901. Hans far var fyrbøter på lokomotiv, en bitter og innesluttet person på konstant jakt etter kvinner. Hans kone Johanna Claudius var syv år eldre enn sin mann, men hun hadde penger og var av god familie. Hun var enfoldig av natur, og la seg ikke borti sin manns sidesprang og alkoholmisbruk. Hun skjemte bort yngstesønnen og overtalte ham til å leke med dukker, heller enn å slå følge med andre gutter. Av de fem eldre søsknene ble eldstemann formann på fabrikk og en lovlydig borger, bror nr to falt i første verdenskrig, mens de tre søstrene utviklet seg til dominerende, tvangspregede mennesker som alle ble skilt kort tid etter at de hadde giftet seg.