Po przyłączeniu Austrii do Rzeszy Niemieckiej w marcu 1938 roku, KPO podjęła gotowość do walki z nazistami. W okresie nazistowskim odegrała znaczącą rolę w austriackim ruchu oporu. Komuniści walczyli ramię w ramię z niektórymi byłymi przeciwnikami politycznymi (między innymi chadecy) Wielu działaczy partii uczestniczyło w misjach jako wolontariusze w innych krajach, między innymi podczas wojny domowej w Hiszpanii. W ramach paktu Hitler-Stalin duża liczba austriackich komunistów ze Związku Radzieckiego została odesłana do Niemiec, w tym Franz Koritschoner i inni współzałożyciele partii.