Labor Party-lederen Evatt pensjonerte seg fra politikken i 1960, og Calwell etterfulgte ham som leder for dette partiet og han valgte Gough Whitlam som hans visepresident. Calwell beseiret nesten Robert Menzies under det føderale valget i 1961, på grunn av utbredt misnøye hos Menzies på grunn av den økonomiske politikken han førte. Calwell motsatte seg bruken av australske tropper i Malaya og han var kraftig imot etableringen av at den amerikanske militære kommunikasjonen skulle bli basert i Australia.