Han giftet seg med den kraftig bygde Erna Loewert. Familien håpet dette skulle gjøre slutt på Haarmanns avvikende oppførsel. Men Haarmann forlot henne snart til fordel for et liv i hæren. Han hadde likt seg der, og nå var det en stund siden han hadde hatt epilepsianfall. Men så døde hans mor som han var nært knyttet til, og han fikk et sammenbrudd ute på øvelse. Etter fire måneder på militærsykehus slo man fast at et personlighetsavvik gjorde ham uegnet som soldat. Han ble tildelt en uførepensjon, og vendte atter en gang tilbake til sin far som var det mennesket han hatet mest på jord. Faren truet stadig med å få ham innlagt igjen, mens sønnen slo inn på forbryterbanen for alvor.