Men de første fredsårenes optimisme varte ikke. Den kalde krigen reduserte NKP til et nesten betydningsløst parti. Overvåkningen av norske kommunister ble trappet opp, og nye beredskapslover innført. Alt dette rammet Iversen hardt og brutalt. I et verbalt sammenstøt med Gerhardsen-regjeringens justisminister O.C. Gundersen skal Iversen ha blitt fortalt at han i en gitt situasjon var blant de første som ville bli internert og skutt. Han var rasende og forbitret. Overvåkingen av kommunistene ble etter hvert påtrengende. Tvillingene hans fikk egne mapper hos sikkerhetspolitiet tolv år gamle - etter en reise til en sommerleir i Russland.