Pacelli ble valgt til pave Pius XII den 2. mars 1939. Sent det samme året, etter utbruddet av Annen verdenskrig, ble Kaas en av nøkkelskikkelsene i en hemmelig krets i Vatikanet som antinazistiske tyske offiserer gikk gjennom for å forsøke å få til en overenskomst med de allierte etter at de eventuelt hadde klart å styrte Hitler. De ønsket seg pave Pius XII som megler mellom et nazifritt Tyskland og de allierte. Josef Müller, en bayersk advokat, skulle reise til Roma med instruksjoner fra Hans Oster eller Hans von Dohnanyi og konferere mer detaljert med Kaas eller med pavens sekretær pater Robert Leiber, for å unngå en direkte kontakt mellom Müller og paven. Disse kontaktene ble gjenopptatt i 1943 etter Casablancakonferansen, men ingen av dem førte frem.