La banda se formó en 1964 cuando Lou Reed, que había tocado en algunas bandas de poca duración, trabajaba como compositor para Pickwick Records donde conoció al galés John Cale, que se había mudado a los Estados Unidos para estudiar música clásica y tocaron juntos en un grupo llamado "The Primitives" con el objetivo de promocionar el sencillo de Reed «The Ostrich».