Phil Spectors farfar var en russisk jøde som endret etternavnet fra Spekter til Spector på Ellis Island da han immigrerte til USA. Phil bodde sine første år i The Bronx i New York City, og familien, en typisk lavere middelklassefamilie, slet med svak økonomi og ble etterhvert tynget av gjeld. Gjeldspresset skal ha medført at faren, Benjamin, begikk selvmord i 1949. I 1953 flyttet moren; Bertha, med Phil og søsteren; Shirley, til Los Angeles, hvor hun arbeidet som syerske.