Den 6. april 2011 trakk Fólkaflokkurin seg ut av regjeringssamarbeidet, og Olsen gikk tilbake til Lagtinget. Etter lagtingsvalget i 2011 dannet de borgerlige partiene regjering, og Olsen ble sosialminister og viseregjeringssjef. Regjeringen tapte flertallet ved lagtingsvalget i september 2015.