Saville hadde en gresk far og britisk mor og an tok etternavnet Saville fra hans mors andre ektemann, og vokste opp i Romford. Saville ble tildelt et stipend til Royal Liberty School i London og studerte senere ved London School of Economics, hvor han sluttet seg til Communist Party of Great Britain (CPGB). Saville var et aktivt medlem av det britiske kommunistpartiet til 1956 da partiet gjennomgikk en krise etter den sovjetiske invasjonen av Ungarn. Da var det flere som meldte seg ut av det det britiske kommunistpartiet i protest. Savilles kone, Constance, døde i 2007. To år senere døde Saville og etterlot seg tre sønner og en datter.