Den 17. april 2023 kunngjorde Skoghøy at han søkte avskjed fra embetet som dommer i Høyesterett med virkning fra 1. juli 2023. Samtidig kunngjorde Høyesterett at domstolen hadde inngått en avtale med Skoghøy om at han skulle få utbetalt et engangsbeløp på 3,6 millioner kroner. Avtalen innebærer at Skoghøy beholder en lønn som om han var høyesterettsdommer fram til oppnådd pensjonsalder i 2025. I tillegg fikk han dekket utgifter til advokatbistand i forbindelse med utformingen av avtalen om fratredelse. Avtalen var signert av Skoghøy og justitarius Øie og datert 14. april 2023. Fram til Skoghøys fratredelse 1. juli 2023 hadde han studiepermisjon og gikk dermed ikke tilbake til dømmende virksomhet i domstolen,.