Som tenåring spilte Visconti i et brassband der han spilte tuba, og i et tradisjonelt orkester på kontrabass samt rock 'n' roll-orientert gitar, noe som ga ham verdifull erfaring. Da han var 15 år fokuserte han på å spille i lokale band i Brooklyn. I løpet av de neste årene spilte han i flere softrock- og lounge-band, både som bassist og gitarist. Sammen med sin daværende kone Siegrid, prøvde de en karriere som popduoen Tony and Siegrid. Duoen ga ut singelen «Long Hair», som ble en mindre hit i New York City sent i 1966, og nådde 33.-plass på den lokale Topp 40-stasjonen WMCA. Dette var det nærmeste de kom suksess og det ble deres eneste utgivelse. Etter det mislykkede forsøket på å bli popartist, ble Visconti produsent for sin daværende distributør The Richmond Organization. Visconti giftet seg med Mary Hopkin, som han fikk to barn sammen med. Senere giftet han seg med May Pang, som han også fikk to barn med.