Jankowski groeide op in Berlijn, maar werd tijdens de laatste periode van de Tweede Wereldoorlog met zijn moeder geëvacueerd. In 1947 keerde hij hier terug, zijn vader was gestorven aan het front. Van 1949 tot 1953 studeerde hij aan het conservatorium in Berlijn contrabas, piano en trompet. In 1953/54 was hij lid van het orkest van Kurt Hohenberger, daarna was hij tot 1955 de pianist van Caterina Valente. Van 1955 tot 1960 speelde hij bij het dansorkest van de Süddeutscher Rundfunk. In 1957 toerde hij met Tony Scott in Joegoslavië en in 1958 speelde hij met Benny Goodman op de Wereldtentoonstelling in Brussel.