I 1889, rett før han fylte to år, flyttet familien til Tasmania da faren ble anglikansk biskop på øya. Faren skal ha vært en vennlig mann, men mye fraværende gjennom sitt arbeid, mens moren styrte hjemmet med hård hånd. Montgomery sa at han hadde en ulykkelig barndom, med stadige sammenstøt med moren, som til stadighet slo barna, og han ble derfor betraktet som familien sorte får. Den kjærlighetsløse oppveksten gjorde ham til et vanskelig barn, og han uttalte senere at «jeg var en fæl liten gutt. Jeg tror ikke noen ville kunne ha klart min oppførsel på den tiden.» Konfliktene skal ha vært så alvorlige at han ikke gikk i morens begravelse. Faren døde hjemme i Moville i 1932.