Biskop Bornewasser hadde tillatt Kaas å sitte i Riksdagen til september 1924, men forventet av han at han trakk seg etterpå, for å konsentrere seg om sitt administrative og akademiske arbeid i bispedømmet. Men Pacelli bad biskopen om ikke å insistere på dette, fordi det ville være til hinder for det så langt innflytelsesrike virke Kaas fjorde og være til skade for innsatsen for de kirkelige interesser. Bornewasser kunne i og for seg med kirkeretten på sin side gjort som han ville, men lot seg bøye. Samme år fratrådte Kaas sin akademiske lærestol.