Født i Nordland, Norge, emigrerte Olsen til USA som åtteåring med foreldrene. Han hadde utdanning innen business administration fra Boston University og studier ved Georgetown University og Crawford's Diplomatic School i Washington. I 1943 ble han utplassert til Stockholm som en sentral aktør ved den amerikanske legasjonen. Olsen hadde et spesielt fokus på økonomiske og politiske forhold i Sverige og skapte viktige kontakter med svenske ledere og forretningsfolk.