Aunque su puesto era el de guitarrista, se hizo cargo del bajo eléctrico en varias canciones de los dos primeros álbumes de The Velvet Underground —"The Velvet Underground and Nico" (1967) y "White Light/White Heat" (1968)— cuando John Cale, bajista oficial del grupo, tocaba la viola o los teclados.