Olsen publiserte flere bøker om kristen tro og sjelesorg, inkludert (1940) og (1973). Han etterlot seg et varig ettermæle som en talsmann for forsoning og medmenneskelighet, med et fokus på Guds nåde og tilgivelse.