Robert Nyes far var en statstjenestemann, hans mor var bondedatter. Han studerte ved Southend High School og publiserte lyrikk i the London Magazine ved seksten års ålder. Han avsluttet sine skolestudier i 1955 og studerte deretter ikke videre.