Svensson begynte tidlig å livnære seg som innbruddstyv og kramkar, og ifølge politiet var han både frekk og brutal. Den kriminelle løpebanen startet tidlig, men det tok tid før han ble tatt, selv om det eksisterte mistanker. På denne tiden fartet han jevnlig over grensen til Norge, og i 1917 tok han inn på et losjihus i Hokksund som ble drevet av et svensk-norsk ektepar. Det var der han ble kjent med den da 10 år gamle Henning Sigurd Madsen. Det sies at Svensson fikk bo på kammerset, noe som på den tiden ble regnet som litt finere enn på en vanlig rom. Det har derfor blitt spekulert i om den unge Henning Madsen kanskje så opp til Svensson og lot seg rive med.