Når det gjelder riksdagens komitéarbeid, har Karlsson framfor alt utmerket seg ved å være leder for arbeidsmarkedskomiteen i perioden 2002 til 2006, leder for forsvarskomiteen 2007 til 2010, og leder for trafikkomiteen 2006 og 2007. Han har også vært leder og nestleder i den sammensatte utenriks- og forsvarskomiteen i kortere perioder i 2008 og 2010, samt medlem av Krigsdelegationen i årene 2004 til 2010.