议员托马斯·怀特爵士即姓“白”（White，“怀特”）。此句迅速成为澳大利亚国内白澳政策支持分子以及全世界反华种族分子的口号，甚至50多年后美国成衣店Abercrombie & Fitch仍在借用此句调侃亚裔人士。在意识形态上，虽然卡尔韦尔是坚定的社会主义者，但不支持国有化运动。1949年工党在大选中落败，卡尔韦尔出任副领袖，接下去数年中党内容共派与天主教反共派之间爆发路线斗争，卡尔韦尔由于出身于天主教背景受到党魁H·V·伊瓦特的猜疑，虽然卡尔韦尔最后选择站在党魁一面，与反共派决裂，但一直无法得到党