I januar 2018 ble han suspendert fra Den Norske Frimurerorden etter å ha blitt siktet for seksuelle overgrep. Per Trygve Kongsnes, provincialmester i Tromsø Provincialloge – som også er medlem av Det Høye Råd (øverste organ i Den Norske Frimurerorden), uttalte 29. november 2018 at suspensjonen ville omdannes til ekskludering dersom han ble dømt etter tiltalen. 29. januar 2020 besluttet ordenens stormester å utelukke Ludvigsen som medlem av Frimurerordenen.