I mai 1955 ble medlemmer disse gruppene utvist av Labor Party og Calwell valgte å holde seg innenfor partiet. Calwells lojalitet til partiet ga ham mane både personlige og politiske sorger og kvaler. Han mistet mange av sine eldste og beste venner på denne tiden, blant annet erkebiskopen av Melbourne, Daniel Mannix, og han ble for en periode nektet nattverd under hans besøk til den lokale katolske sognekirken som han var medlem av.