Fra 1913 til 1918 var Westarp formann for det konservative partiet i Riksdagen. I 1918 hørte han til grunnleggerne av Deutschnationale Volkspartei (DNVP). Fordi hans planer om et kandidatur for Heinrich Brüning ikke oppnådde støtte i partiet, og fordi den antirepublikanske fløyen under Alfred Hugenberg i stadig større grad vekket hans mishag, trådte han ut av partiet. I 1930 deltok han i grunnleggelsen av Konservative Volkspartei (KVP), som han satt i Riksdagen for frem til 1932. Westarp var medlem av Riksdagen mellom 1908–1918 og 1920–1932.