Peter Carington var eneste sønn av Rupert Carington, 5. baron Carrington, og hans hustru Sybil Marion, datter av Charles Colville, 2. viscount Colville av Culross. Hans gammelonkel Robert Wynn-Carington, 1. marki av Lincolnshire, var en fremstående liberal politiker.