Mayer, filho de um fazendeiro, nasceu em 19 de agosto de 1917 em Constança no Lago de Constança. Na época, Konstanz estava no Grão-Ducado de Baden do Império Alemão. Mayer cresceu na fazenda de seus pais chamada "Hauserhof" e passava seu tempo livre no campo de pouso de planadores em Bellenberg perto de Engen. Ele foi para a escola no "Langemarck-Realgymnasium"—uma escola secundária construída na "Realschule" de nível médio para obter o "Abitur" (qualificação de entrada na universidade)—em Singen. Hoje, o "Langemarck-Realgymnasium", que recebeu o nome em homenagem ao local da Batalha de Langemarck na Primeira Guerra Mundial, é o Hegau-Gymnasium.