I september 2022 ble det kjent at Olsen og resten av trenerteamet hadde bestemt seg for å gi seg etter sesongen. 18. oktober valgte styret i klubben og avskjedige Olsen med to kamper igjen av sesongen, i et forsøk på å redde klubben fra nedrykk.