Calwell gikk av i 1949 da Chifley og hans regjeringen ble beseiret av det liberale partiet, som på denne tiden var ledet av Robert Menzies. Hans påfølgende periode i opposisjon var en stor frustrasjon for ham. Som mange parlamentarikere fra Labor Party tilhørte også Calwell den romersk-katolske tro. Den australske katolske kirken var i denne perioden sterkt anti-kommunistisk og hadde i 1940 oppfordret katolske fagorganiserte til å motsette seg kommunister innenfor deres fagforeninger.