I 1934 begynte Sack i den nyetablerte (Rikskrigsretten) der han raskt steg opp til en ledende stilling. Han var i stand til å utsette saken mot kommanderende offiser i Hæren, Werner von Fritsch som feilaktig hadde blitt anklaget for homoseksualitet av Gestapo i et forsøk på å diskreditere ham for hans motstand mot Hitlers forsøk på å underlegge seg de tyske væpnede styrker. Høsten 1942 ble Karl Sack Generaladvokat og dommer i Hæren.