Pertwee var en offiser i Royal Navy og han jobbet i etterretningen under andre verdenskrig. Han var en del av mannskapet på HMS «Hood», men han ble forflyttet rett før skipet sank. Han var gift to ganger, først med Jean Marsh (1955–1960), som han skilte seg fra 13. august 1960; og så med Ingeborg Rhoesa, som han hadde to barn med (Sean og Dariel). Han var søskenbarnet til skuespilleren Bill Pertwee, som spilte Hodges i komiserien .