Arthurs far var en politimann av irsk avstamning, og både faren og sønnen var meget aktive i det irske samfunnet i Melbourne. Hans mor var av irsk-amerikansk bakgrunn. Calwell var en hengiven katolikk og gikk inn i ungdomspartiet til Australian Labor Party i sine ungdomsår. Manglende ressurser til å begynne på en utdannelse ved universitet, gjorde at Calwell i stedet begynte å arbeide som en kontorist i den offentlige tjenesten der han blant annet jobbet for det amerikanske Landbruksdepartementet og den australske finansdepartementet.