Peter Sellers ble født Richard Henry Sellers 8. september 1925 i Southsea, Portsmouth i en familie av underholdere. Hans foreldre gav ham klengenavnet Peter etter en eldre dødfødt bror. Han gikk på den katolske skolen St. Aloysius College, selv om faren, Yorkshire-fødte Bill Sellers (1900–1962) var protestant og moren, Agnes Doreen «Peg», født Marks (1892–1967) var jødisk. Hans mormor, Bienvenida «Welcome» Mendoza (1855–1932), var av portugisisk-jødisk herkomst; hennes bestefar, Mordecai Mendoza (1774–1851), var fetter av den engelske bokseren Daniel Mendoza (1764–1836). Sellers var i slekt med Mike Mendoza (1948–), som er programleder i BBC radio.