I april 2023 inngikk Skoghøy en avtale med Høyesterett der han søkte avskjed fra sitt embete og samtidig får utbetalt et engangsbeløp på 3,6 millioner kroner. I juni 2023 ble Skoghøy i statsråd innvilget avskjed i nåde, med virkning fra 1. juli 2023. Etter avgangen fra Høyesterett begynte Skoghøy som advokat i Kvale Advokatfirma.