罗伯特·孟席斯爲了炒作共产党议题，推出取缔共产党的宪法修正案，工党在时任领袖、前联合国大会主席H.V.伊瓦特领导下对如此妨碍公民权的修正案予以坚决反对，最后修正案在全民公决中被否决。但不久工党内部的容共、反共势力的矛盾也愈发激烈。1955年党魁伊瓦特与天主教背景的极端反共派系决裂，后者从工党分裂创建“民主工党”。此后民主工党在选举中拨票给自由党-乡村党联盟，造成被此削弱的工党被迫长期在野。直到1967年，新任党领袖惠特拉姆积极对工党进行改革，1972年惠特拉姆终于领导工党获胜成为总理，而工党经历23年在野