Avant 1918, Graef était membre de l'Union économique et, de 1907 à 1912, membre du Reichstag allemand. Après la Révolution de novembre, il a rejoint le Parti populaire national allemand (DNVP). Aux élections du Reichstag en juin 1920, il a été réélu au Reichstag, auquel il a appartenu jusqu'en 1933. De 1925 à 1932 et en 1933, il a été vice-président du Reichstag.