Sugiyama studierte an der Waseda-Universität in Tokyo, wo er auch sein Postgraduierten-Studium absolvierte. Anschließend erwarb er 1977 den Master an der Boston University. Als Autodidakt begann er ab den späten 1970er-Jahren zunächst in Japan, dann in den Vereinigten Staaten als Tontechniker zu arbeiten. Von 1990 bis 1993 war er in New York City Repräsentant des japanischen Plattenlabels Toshiba/EMI; ab 1991 war er Produzent der Jazzlabel DIW Records und Avant Records. Mit John Zorn schuf er das Avantgarde-Label Tzadik, für das er Produktionen wie "1930" von Merzbow verantwortete. Seitdem arbeitete er als Produzent u. a. mit Gil Evans, Ralph Peterson, Toshinori Kondō, Sirone, Billy Bang, Takehisa Kosugi, David Murray ("Fast Life", 1993), dem Music Revelation Ensemble, John Zorn ("", 1994), Andrew Cyrille, Gil Goldstein, George Adams, Gonzalo Rubalcaba, James Blood Ulmer, Geri Allen, Wadada Leo Smith, Zeena Parkins, Marc Ribot und David S. Ware. Er schrieb auch eine Miles-Davis-Biografie und war 1997 als Autor sowie im Herausgeber-Team des "New Grove Dictionary of Jazz" tätig. 1989 erhielt das von ihm produzierte Gil-Evans-Album "Bud and Bird" den Grammy Award in der Kategorie "Beste Jazz-Instrumentaldarbietung, Big Band"; in Japan wurde er 1990 und 1992 für ein Album des Jahres ausgezeichnet.