Forster var den eneste sønnen til arkitekten Edward Morgan Llewellyn Forster og Alice Clara Whichelo. Faren døde i 1880, og Forster ble store deler av livet dominert av moren og kvinnelige slektninger. I ung alder arvet han en formue som var tilstrekkelig stor til at han ble økonomisk uavhengig.