Han ble født Peter John Bowles i London som sønn av Sarah Jane (pikenavn Harrison) og Herbert Reginald Bowles. Fra tre års alder vokste han opp i Nottingham.