Anderson nació en 1938 en Londres. Su padre, James Carew O'Gorman Anderson (1893-1946), que descendía del general Sir Francis Anderson, era funcionario de la Aduana Imperial Marítima en China. Su madre, Veronica Beatrice Mary Bigham, también inglesa, era hija de Trevor Bigham, Comisionado Adjunto de la Policía Metropolitana (1914-1931), y se casó en segundas nupcias con James en 1933. La familia de Anderson se mudó a China cuando su padre fue trasladado para desempeñar funciones en la Aduana Imperial Marítima. Después de la guerra, la familia se muda al sur de Irlanda. Anderson fue educado en Eton y Worcester College (1956-1959), Oxford, donde obtuvo su primer grado. Sus intereses van desde la filosofía y la psicología a las lenguas, especialmente el ruso y el francés. Su llegada a Oxford coincidió con la invasión soviética a Hungría, con la crisis de Suez y con la efervescencia de la Nueva Izquierda, de la cual se convirtió en un actor central.