Rapid a devenit o forță dominantă în perioada interbelică, o perioadă în care Austria era un dintre națiunile puternice ale Europei la fotbal. A câștigat titlul de trei ori consecutiv din 1919 până în 1921. Dupa anexarea Austriei de către Germania în 1938, Rapid s-a alăturat campionatului german, jucând in prima ligă regională Gauliga Ostmark împreună cu cluburi precum Wacker Wien sau Admira Vienna. Rapid a avut cel mai mare succes dintre acestea. Ei au câștigat Cupa Germaniei în 1938 după o victorie cu scorul de 3–1 împotriva echipei FSV Frankfurt, urmând o câștigare a campionatului Germaniei în 1941 după ce a învins-o pe Schalke 04, cel mai bun club german de la acea vreme. Echipa a revenit de la 0-3 și a câștigat meciul cu scorul de 4-3.