Både før og under andre verdenskrig var Torgersen aktiv i arbeidet for å hjelpe folk å flykte fra nazistenes forfølgelser. Etter krigen fortsatte han innsatsen for å hjelpe ofre for nazismen, blant annet i leiren for (IDP) i Föhrenwald i Østerrike.