I sitt eksil led Kaas av hjemlengsel og under sine tidligere partifellers og de tyske biskopers avvisning. Den 20. august 1936 ble han utnevnt til og sekretær for kongregasjonen for Peterskirkens byggearbeider.