Westarp se había unido a la Liga Agraria Alemana en la década de 1890, pero su avance político comenzó en 1908 como miembro del Reichstag en representación del Partido Conservador Alemán, siendo de 1913 a 1918 jefe del grupo parlamentario de esta formación. Durante la Primera Guerra Mundial, se rebeló contra la Resolución de paz del Reichstag de 1917, abogó por la guerra de submarinos sin restricciones y rechazó la reforma de la franquicia de tres clases prusiana iniciada por el canciller Bethmann-Hollweg.