Berger trat 1922 oder 1923 erstmals der NSDAP bei. Im Frühjahr 1923 war er an der Gründung der NSDAP-Ortsgruppe in seiner Heimatgemeinde Gerstetten beteiligt. Im September 1923 nahm er an einem Treffen von Wehrverbänden in Nürnberg teil. Im Oktober und November 1923 führte Berger das „nationalsozialistische Bataillon Ulm/Land“. Dabei wurde er im Oktober 1923 in Gerstetten wegen Waffenbesitzes, der Bildung bewaffneter Haufen und wegen Amtsanmaßung vorübergehend verhaftet. Mit dem Verbot der NSDAP nach dem Hitler-Ludendorff-Putsch endete Bergers Parteimitgliedschaft vorerst.