Es muy conocido por haber fundado, junto a Lou Reed, la mítica banda neoyorquina The Velvet Underground en la segunda mitad de la década de los 60, para más tarde abandonarla por discrepancias con el propio Lou Reed.