Michelozzo, hermano del prior servita, fue encargado de su construcción, pero como Ludovico III Gonzaga sentía una admiración especial por Leon Battista Alberti, se lo encargaron a éste en 1469.