Josef Mai est né à Otorowo en Pologne ("à l'époque" Otterwalde en province de Posnanie, Royaume de Prusse). Son service militaire commence le dans le Lancers. Au début de la Première Guerre mondiale, Mai fait partie de l'offensive visant la capitale française, Paris. Il prend ensuite part aux combats autour de Varsovie, en Pologne. En 1915, il fait campagne le long du Dniestr. Il sert également lors des batailles de Verdun et de la Somme.