Peter Baker ble født i Lewisham, London. Han fikk kallenavnet "Ginger" for sitt flammende røde hår. Hans mor, Ruby May (født Bayldon), arbeidet i en tobakksbutikk. Faren, Frederick Louvain Formidable Baker, var en murer i sin fars bedrift, og var korporal i Royal Corps of Signals under andre verdenskrig. Han døde i 1943. Baker gikk på Pope Street School, hvor han likte å spille på skolens fotballag og ble ansett som "en av de bedre spillerne på laget". Senere gikk han på "Shooter's Hill Grammar School". Mens han gikk på den skolen ble han med i "Squadron 56" i "Air Training Corps", basert i Woolwich, og ble der i to, tre år.