大战中卡尔韦尔在约翰·柯廷政府中担任信息部长，以对媒体审查严厉着称。战后的1945年转任移民部长，在此任上他成为澳大利亚的战后移民政策的主要设计师之一，利用他的工会背景说服工会接受扩大移民政策，奠定了澳大利亚此后半个世纪的亲移民基本政策，但他也坚决支持白澳政策，在欢迎欧洲移民和难民的同时他主导了遣返战时到达澳大利亚的马来亚、印度支那和中国难民，甚至包括已和澳大利亚公民结婚生子的难民。在这方面，卡尔韦尔最被后世记住的言论是1947年在国会辩论关于政府错误遣返一名黄（Wong）姓华人时的发言：“我刚才提到的遣