Til tross for hans fremsynt innvandringspolitikk, var Calwell en sterk talsmann for en mest mulig hvit innvandring (White Australia Policy). Mennesker som kom fra Europa var mest velkommen til Australia. Samtidig sørget Calwell for å deportere mange innvandrere som hadde kommet fra land som Malaysia, Indonesia eller Kina. Noen av disse flyktningene hadde allerede giftet seg med australske borgere og startet familier i Australia da de likevel ble sendt ut av landet igjen.