Han kjente de lokale politifolkene av utseende. Det ble derfor tilkalt to yngre politimenn fra Berlin, som om kvelden 22. juni 1924 ble sendt sivilkledde til Hannovers jernbanestasjon for å spane på Haarmann. Han kranglet med en hjemløs femtenåring som het Karl Fromm, og da politifolkene nærmet seg, ville han utrolig nok ha Fromm arrestert. Men Fromm gav beskjed om at Haarmann hadde handlet ille mot ham da han overnattet hos ham, og nå hadde politiet nok på Haarmann til å sette ham i varetekt. De gjennomsøkte boligen hans og fant veggene oversprøytet med blod og hauger av brukte klær og eiendeler. Haarmann bortforklarte dette med at han var forhandler av kjøtt og bruktklær. Politiet visste da at to kvinner som brukte å vaske i huset der han bodde, engang hadde kommet over en diger kjel som stod plassert under trappen. Det lå kjøttstykker i kjelen, noen biter var hårete. Like ved lå et forkle som var tilklint med blod. De oppskremte vaskehjelpene visste ikke hva de skulle tro, og da de vendte tilbake, var begge gjenstander fjernet.