Koch sluttet seg til NSDAP i 1922 og engasjerte seg i oppstanden mot den franske okkupasjonen av de tyske industriområdet Ruhr, noe som førte til at han flere ganger ble arrestert av franskmennene. Josef Terboven var Kochs rival i Ruhr. Senere ble Koch distriktsleder i det nasjonalsosialistiske partiet. I 1928 forfremmet Hitler ham til gauleiter (fylkesleder) i partiet i Øst-Preussen, for to år senere å bli innvalgt i Riksdagen. Med den nasjonalsosialistiske maktovertakelsen i 1933 ble Koch president i Øst-Preussen.