Hy is gebore in 'n laer-middelklas Joodse gesin in die Bronx-omgewing in New York. As gevolg van hoë skuld het sy vader in 1949 selfmoord gepleeg en die gesin het in 1953 na Los Angeles verhuis. Ondanks sy skaamheid, het hy gou betrokke geraak by die plaaslike musiekkultuur.
Sy eerste musiekgroep was The Teddy Bears waarin hy kitaar gespeel en liedjies geskryf het. Hulle het 'n groot treffer gehad met To know him, is to love him wat in 1958 vrygestel is en wat meer as 'n miljoen eksemplare verkoop het. Die titel was 'n verwysing na Phil se vader.
Sy handelsmerk was die Wall of Sound (Klankmuur), waar hy 'n groot aantal musikante bymekaar gebring het wat georkestreerde stukke gespeel het om 'n vollediger klank te gee. Daarbenewens gebruik hy merkwaardig gereeld en baie slaginstrumente. Hy het baie akoestiese truuks gebruik, soos om twee dromme antifonaal saam te meng deur snare en instrumente soos klavier en klawersimbaal te gebruik wat ongewoon is vir rockmusiek.
Dit is minder bekend dat aan die voet van die Wall of Sound 'n kelder vol mikrofone en luidsprekers was. Die harde weerklank van die klipmure het die klank 'n besondere kwaliteit gegee, wat veral waardeer word as dit op 'n AM-radio gespeel word. Spector was nog altyd 'n voorstander van die maak van kortspelers, verkieslik in mono.
Spector staan bekend as 'n eksentrieke persoon vanweë die vele bisarre konflikte wat hy gehad het met kunstenaars, liedjieskrywers en bestuurders wat saam met hom gewerk het. Daaroor versprei baie verhale, soos dat hy 'n wapen afvuur terwyl hy saam met John Lennon in die ateljee was, en het Leonard Cohen blykbaar met 'n gespande kruisboog gejaag tydens die opname van Cohen se album Death of a Ladies 'Man.