Karlsson har blitt beskyldt for etter en riksdagsdebatt 8. desember 2004 å ha kalt riksdagsmedlem Mauricio Rojas fra Folkpartiet for «ett jävla svin».