Baumer a grandi dans la canton suisse de Thurgovie. Son père était homme d'affaires ; sa mère était correspondante de guerre pour une radio nationale française — elle couvrit notamment la guerre russo-finlandaise durant l'hiver 1939-1940. Sven Hedin, le célèbre explorateur de l'Asie, aida la mère de Baumer à retourner en Belgique occupée, où la famille habitait. Dès sa jeunesse, Baumer fut fasciné par les carnets de voyage de Sven Hedin, qui l'orientèrent vers son futur métier d'archéologue. Après avoir obtenu son diplôme d'études secondaires, il étudia la psychologie, la philosophie et l'histoire de l'art à l'Université de Zurich.