Foruroliget av revolusjonen bestemte Kaas seg for også å engasjere seg i politikken. Han ble medlem av partiet Zentrum. I 1919 ble han valgt til den weimarske nasjonalforsamling og i 1920 i Reichstag, som han forble medlem av til 1933. Han ble også valgt til det prøyssiske statsråd, et representativt organ for Preussens provinser. Som parlamentariker spesialiserte Kaas seg innen utenrikspolitikken. Fra 1926 til 1930 var han en av de tyske delegater til Folkeforbundet.