Klub był jednym z najlepszych zespołów w Europie środkowej, zwłaszcza w okresie międzywojennym. Po Anschlussie Austrii do Niemiec w 1938 Rapid grał w Gauliga Ostmark razem z takimi klubami jak First Vienna i Admira Wacker Mödling. W 1938 wygrał Tschammerpokal, poprzednika dzisiejszego Pucharu Niemiec, pokonując 3:1 FSV Frankfurt. W 1941 zdobył Mistrzostwo Niemiec.