Faren Thorleif var opprinnelig fra Elverum og moren Maria fra Kristiania. Faren var på dette tidspunktet en vellykket forretningsmann. Han drev forretningen Imerslund & Co, som fremdeles eksisterer som musikkforretning. Thorleifs far hadde bidratt økonomisk til etableringen. Han ønsket etter hvert å etablere seg i Tyskland som han så som mulighetenes land, og allerede før første verdenskrig var han på forretningsreiser til keiserriket. Etter hvert satte Thorleif alle farens penger over styr, blant annet gjennom spekulasjoner under verdenskrigen og mislykkede etableringer. Men i mars 1920, mens de fortsatt hadde penger, flyttet familien – Per hadde fått søsteren Eva i 1914 – til Tyskland, og sønnen Per opplevde nøden og elendigheten i kjølvannet av den tapte krigen. Denne sto i kontrast til den materielle tryggheten han selv opplevde. Faren Thorleif var imidlertid ikke så innstilt på et nært familieliv og sønnen fikk aldri noen god kontakt med faren. Farens stadige homofile sidesprang slet på ekteskapet og førte til at morens oppmerksomhet ytterligere ble fjernet fra barna. Tiden var preget av kampen mellom nasjonalistiske og sosialistiske bevegelser. I familiens borgerlige miljø fikk Frikorpsene en helterolle og preget nok hans holdning til det senere Sturmabteilung (SA).