Fellowes ble født i Kairo, og er den yngste sønnen til Olwen (født Stuart-Jones) og Peregrine Edward Launcelot Fellowes. Han vokste opp i Hereford Square i South Kensington.