Karl Ifvarsson har betonat att partiets ledamöter i denna fråga lemnäs friautan