Han var oppkalt etter sin fødeby Pontormo, en by nær Empoli, men fikk sin skolering i den florentinske skolens stil — med all sikkerhet av Andrea del Sarto og trolig av Leonardo da Vinci og Piero di Cosimo. Han slo igjennom med utsmykningen av Medicéernes villa i Poggio a Caiano, i nærheten av Firenze, og malte i 1523 ytterligere en rekke fresker med motiv fra Kristi lidelseshistorie.