Forester ble født i Kairo i Egypt, men fikk sin utdannelse i Alleyn's School og på Dulwich College i sørlige London. Han giftet seg med Kathleen Belcher i 1926, de fikk to sønner før de skilte seg i 1945. Den eldste sønnen, John Forester, har skrevet en biografi om sin far.