Creciendo en Japón durante la Segunda Guerra Mundial, Sugiyama fue evacuado de Tokio, pero continuó dedicándose a la música participando en orquestas, bandas de jazz y ballets.