Olsen solgte seg i 2024 ut av familieselskapet Firmament, og kontrollen over selskapet ble overført til hans tre døtre. Olsen ble 18. september 2024 slått personlig konkurs av Oslo tingrett.