Jakob Grimminger entrou para o Exército Imperial Alemão quando tinha dezesseis anos de idade. Serviu na Primeira Guerra Mundial como mecânico de 1914 a 1917. Lutou na Campanha de Galípoli. Juntou-se ao Partido Nacional Socialista dos Trabalhadores Alemães (NSDAP) em 1922 e tornou-se membro da Sturmabteilung (SA). Lutou em Coburgo em 1922 e no Putsch da Cervejaria em 9 de novembro de 1923. Trabalhou no Braunes Haus (sede central do Partido Nacional Socialista dos Trabalhadores Alemães), em Munique, onde, em 1926, foi selecionado para tornar-se membro da Schutzstaffel (SS). Foi promovido várias vezes durante seu serviço na Sturmabteilung (SA) e na Schutzstaffel (SS).