Il vit et travaille à Rome pendant la majeure partie de sa vie, principalement au service des papes, tout en dirigeant des chantiers à Florence, à Orvieto et ailleurs. En effet, à la mort de Bramante, à partir de 1516, il est coadjuteur de Raphaël sur le chantier de construction de la basilique Saint-Pierre, succédant à son oncle Giuliano qui avait occupé le même poste et qui était revenu à Florence. En 1520, à la mort de Raphaël, il est nommé premier architecte du chantier, avec le coadjuteur Baldassarre Peruzzi : c'est le début de sa longue domination culturelle à Rome. Il est nommé par le pape Paul III architecte de toutes les fabriques papales en 1536. À la fin des années 1530, Bramante, Raphaël et Peruzzi étant morts, de nombreux artistes tels que Sebastiano Serlio, Jacopo Sansovino, Michele Sanmicheli, Jules Romain ayant également quittés la ville suite au sac de 1527, Sangallo se retrouve le protagoniste absolu de l'architecture romaine, monopolisant les commandes les plus prestigieuses, à la tête d'un atelier très bien organisé voire d'une « secte » comme Michel-Ange et ses contemporains définissent les artistes et artisans de son entourage.