Tittelen er hentet fra Spectors fars gravstein. Faren døde da Phil bare var ni år. «To Know Him is to Love Him» var The Teddy Bears eneste store hit og etter singelen «I Don't Need You Anymore», med B-siden «Oh Why», som ikke opplevde samme suksess, gikk Spector videre og begynte å produsere andre artister og grupper.