Fils de fermier, en 1935 il termine l’école et reprend l’exploitation en compagnie de son père. Le 1er avril 1936, Ernst Barkmann s’engage dans la SS-Standarte Germania comme volontaire. Barkmann prend part à la campagne de Pologne de 1939 au sein de la 9e Compagnie de la SS-Standarte Germania comme mitrailleur, poste où il sera d’ailleurs blessé. A l’automne 1941, Barkmann est gravement touché lors d’un combat prés de Dniepropetrovsk (opération Barbarossa) ce qui lui vaut une Croix de Fer 2e classe. Fin 1941, Barkmann part pour la Hollande où il doit instruire les Européens volontaires pour la SS ; Début 1943, le 2e Panzer Regiment est jeté dans la Bataille de Kharkov, où Barkmann gagne sa Croix de Fer première classe. Fin 1943, Ernst est promu au rang de SS-Unterscharfuhrer. Le D-Day, la Das Reich reçoit l’ordre de faire mouvement au nord pour participer à la bataille.