Enrôlé dans la Wehrmacht en 1938, il parvient au grade de sergent ("Feldwebel"). À l'automne 1941, son régiment stationne à Vilnius, où l’armée du Troisième Reich a pénétré peu auparavant. Il est témoin du parcage des Juifs dans les deux ghettos de la ville et de leur assassinat par milliers dans la forêt de Poneriai. Dans une lettre à sa femme Stefi, Schmid fait part de son horreur à la vue des massacres de masse et des enfants abattus en chemin, et de sa volonté de leur venir en aide.