Ludvigsen ble utnevnt til kommandør av St. Olavs orden den 23. november 2005. Han ble belønnet for «utmerkede fortjenester for Norge og menneskeheten», sammen med tre statsrådskolleger fra Høyre; Erna Solberg, Ansgar Gabrielsen og Kristin Krohn Devold. Utnevnelsen ble slettet 28. januar 2020, etter at dommen mot Ludvigsen for seksuelle overgrep i Nord-Troms tingrett ble rettskraftig.