En tredjedel av de neste tyve årene satt Haarmann i fengsel og varetekt. I 1914 ble han dømt til fem års fengsel for å ha ranet et varehus. Han slapp ut i 1918, og ble med en gjeng smuglere. Dette tjente han stort på, og siden han også opptrådte som tyster for politiet, slapp han selv lett fra det. Han åpnet en butikk der han omsatte kjøtt og brukte klær. Snart opparbeidet han seg en fast kundekrets, for Haarmann var vennlig og glad i å slå av en prat med husmødrene, og prisene hans var meget rimelige. Hans interesse for unge gutter var ikke blitt mindre, og på kveldene kunne han observeres på Hannovers jernbanestasjon, der rømlinger og hjemløse hang på benkene, slitne og sultne. Her kunne han lett plukke opp gutter han kunne misbruke seksuelt. Politiet la seg ikke borti det, de brukte ham fremdeles som spaner. For sosialarbeiderne ble han også et kjent ansikt.