A morte de seu pai e o início de sua carreira política na Primeira República da Áustria obrigaram Raab a abandonar a universidade em 1925. De 1927 a 1934, ele foi membro do Parlamento do Conselho Nacional como deputado da Baixa Áustria. Apoiado pelo chanceler Ignaz Seipel, ele também foi ativo no braço paramilitar de "Heimwehr" das forças políticas de direita e foi nomeado chefe da Baixa Áustria em 1928. No entanto, suas tentativas de vincular as forças paramilitares ao Partido Social Cristão fracassaram. Em 1932, ele se juntou às forças católicas "Ostmärkische Sturmscharen" lideradas por seus companheiros de partido Kurt Schuschnigg e Leopold Figl. Em 1933, Raab juntou-se à Frente da Pátria, a recém-criada coalizão de direita liderada pelo Chanceler Engelbert Dollfuss. Durante o período austrofascista de 1934–1938, Raab progrediu na hierarquia do Estado Corporativo e foi nomeado Ministro do Comércio pelo Chanceler Schuschnigg apenas quatro semanas antes do "Anschluss de" 1938 à Alemanha nazista.