Bereits in den späten 1950er Jahren machte er sich als exzellenter Jazz-Pianist, Arrangeur und Komponist einen Namen. Er hatte zeitweilig ein eigenes Quintett und war gleichzeitig Mitglied von Juri Saulskis Bigband in Moskau. Einen ersten Durchbruch als Komponist hatte er im Jahr 1957, als er mit dieser Band sein "Concertino für Klavier und Orchester" op. 1 bei den VI. Weltfestspielen der Jugend und Studenten in Moskau uraufführte. In den Jahren 1961 bis 1972 arbeitete er mit dem Orchester von Oleg Lundstrem zusammen und unternahm zahlreiche Tourneen durch die Sowjetunion. Für Lundstrems Bigband entstanden auch einige der größeren Werke Kapustins.