Tiltalen gikk ut på at han hadde misbrukt sin stilling som fylkesmann til å skaffe seg seksuell omgang med tre muslimske menn i en sårbar situasjon. Alle tre fornærmede kom til Norge som unge asylsøkere, og traff Ludvigsen første gang mens han var fylkesmann i Troms. Tiltalen omhandlet misbruk av stilling overfor en person fra 2011 til 2014, og misbruk av stilling og/eller utnyttelse av psykisk utviklingshemming overfor en annen i mai/juni 2014. Den omhandlet også utnyttelse av to personer i sårbar situasjon til seksuelle formål, en i tiden 2011–2017 og en person sommeren/høsten 2014.