I etterkant av krigen og soningstiden etablerte Olsen seg på nytt i samfunnet. Han flyttet til Gausdal, hvor han og kona drev et hotell som de overtok etter hennes foreldre. Olsen unngikk å snakke om visse aspekter av sin fortid, inkludert sitt angiveri, men ble åpen om sin tid som NS-medlem og Waffen-SS soldat.