Fra 1926 til 1928 var han rektor for Collegium Bohemicum i Roma. Årene 1928 og 1929 var Ottaviani sekretær for kongregasjonen for utenforkirkelige anliggender og fra 7. juni 1929 substitutt ved Statssekretariatet, først under kardinalstatssekretær Pietro Gasparri.