Haute École d'art de Zurich
Baumgartner étudie la littérature à Paris puis la composition musicale à la Haute École d'art de Zurich auprès de Volkmar Andreae. Athlète, il représente la Suisse aux championnats universitaires d'Europe à Rome. En 1934, il fonde l'orchestre swing The Magnolians avec le saxophoniste Eddie Brunner. Ses modèles sont Glenn Miller et Benny Goodman. En 1935, l'école zurichoise crée une classe de jazz que Baumgartner dirige jusqu'en 1947.