Montagu var den eneste overlevende sønn av Sidney Montagu med sin hustru Paulina Pepys av Cottenham (grandtante av Samuel Pepys) og han vokste ved Hinchingbrooke House i Huntingdon i Cambridgeshire.