Som representant for War Refugee Board (WRB) var Olsen aktiv i å hjelpe europeiske jøder med å unnslippe nazistenes forfølgelse. Han hadde tilgang til betydelige midler for humanitært arbeid og koordinerte nødhjelpstiltak for å redde liv under krigen.