Alt 21. september i 1912 skal Svensson ha såret en svensk telefonarbeider med revolver i hånd, men det er først i 1919 at han blir dømt til 8 måneders straffarbeid for første gangs tyveri. I 1922 rømte han under en fangetransport til sentralfengslet i Härnøsand, der han skulle sone en dom på 2 år og 4 måneders straffarbeid for en rekke innbrudd han hadde begått i hjemlandet. Under flukten fikk han med seg en revolver og 13 skarpe skudd, og han ble etterlyst av svensk politi i 1923. Han klarte imidlertid å holde seg på frifot, blant annet gjennom å bruke ulike pseudonymer, som «Harald Fredrik Ekløv» og «August Wilhelm Johansson».