Po německé Listopadové revoluci (1918–1919) se Westarp stal jedním ze zakládajících členů Německé národně lidové strany (DNVP). V letech 1924–1928 byl jejím předsedou. V roce 1930 stranu opustil a společně s Gottfriedem Reinholdem Treviranem se stal jedním ze zakladatelů "Konservative Volkspartei" (KVP). Za tuto stranu se účastnil Říšského sněmu až do roku 1932.