I 1503 fulgte han med Giuliano da Sangallo til Roma, hvor han senere skulle nyte en rekke pavers gunst. Han var til å begynne med en medarbeider til Raffael og Donato Bramante, som brukte ham til utformingen av kuppelpillarene til Peterskirken i Roma. Bramante gav Sangallo en rekke stadig mer krevende prosjekter der det bare forelå ideskisser, og de kunne Sangallo så fullføre. Etterhvert fikk Sangallo også ansvaret for Passetto di Borgo mellom de pavelige boliger og Castel Sant'Angelo. Dette prosjektet ble imidlertid aldri sluttført, nen det gav ikke desto mindre Sangallo et vedvarende godt renomme som arkitekt.