Baumgarten nousi nopeasti 1930-luvun puolivälissä Saksan nyrkkeilyn huipulle. Hän voitti nyrkkeilyn keskisarjan Saksan mestaruuden vuonna 1936 ja valittiin olympiaedustajaksi. Berliinin vuoden 1936 kotiolympialaisissa Baumgarten voitti Sveitsin Alfred Fleuryn ja Italian Benito Tottin. Neljännesvälierässä hän kuitenkin joutui taipumaan Norjan Henry Tillerille. Seuraavana vuonna hän otti jälleen Saksan mestaruuden voitettuaan entisen olympiamitalistin Erich Campen. Näin hän edusti Saksaa toukokuussa 1937 EM-kisoissa Milanossa, jossa hän koki kuitenkin tappion Hollannin Gerhardus Dekkersille ja putosi jatkosta. Vuoden 1938 merkittävin kansainvälinen tapahtuma oli Euroopan ja Yhdysvaltain välinen kohtaaminen. Sitä varten järjestettiin Euroopassa karsinnat, joissa Baumgarten lunasti voitollaan Italian Bruno Zorzonesta paikan keskisarjan Euroopan edustajaksi. USA-Eurooppa - oteluita oli kaksi, joista ensimmäisessä Chigacossa käydyssä Baumgarten koki tappion Booker Beckwithille, mutta toisessa Minneapolisissa käydyssä ottelussa otti tyrmäysvoiton Yhdysvaltain Petriestä. Vuonna 1939 Baumgartenin ura koki takaiskuja. Heti tammikuussa käydyssä maaottelussa Suomea vastaan Baumgarten koki tappion Suomen Viljo Suhoselle. Sitten tuli tappio Saksan mestaruuskisojen loppuottelussa Rudi Pepperille ja EM-kisoissa Dublinissa tappio heti alkuotteluissa jälleen Suomen Viljo Suhoselle.