Peter Greenbaum ble født i et fattig område av East End, og vokste opp under dårlige kår og var det yngste av fire barn i familien. Faren hans var skredder og da moren ble syk flyttet familien til Putney i 1956. Det var rundt denne tiden at han fikk sin første gitar. Han ble med i forskjellige amatørband som bassist før han i februar 1966 ble sologitarist i keyboardisten Peter Bardens' band, Peter B's Looners, der Mick Fleetwood spilte trommer. På dette tidspunktet hadde han forkortet etternavnet til Green.