Montgomery ble født i Kennington i det sørlige London som det fjerde barnet til en anglo-irsk anglikansk prest, Henry Hutchinson Montgomery og Maud (født Farrar) Montgomery, fra Harrow i Nord-London, datter av Frederic William Farrar, som også var en anglikansk prest. Montgomery-familien kom fra Moville, County Donegal ved Derry og beholdt hjemmet, New Park, en 400 hektar stor eiendom nær sentrum av den lille byen. New Park hadde vært i familiens eie siden 1768, da Montgomerys tippoldefar, vinhandleren Samuel Montgomery fra Derry kjøpte den av markien av Donegal. Montgomery betraktet seg selv som ire fra County Donegal.