Les dix années qui suivent sont, par contraste, parsemés de malheurs : le caractère de Mantegna devient irritable du fait de commandes payées en retard, son fils Bernardino meurt peu avant le décès du marquis en 1478, suivi de celui de la marquise, Barbara, en 1481. Le nouveau marquis, Frédéric I dit "le Bossu" meurt à son tour en 1484 : il avait fait Mantegna chevalier. Ce n’est seulement qu'avec l'avènement de François II que les commandes artistiques reprennent : une période qui, précédant une intense activité militaire, fut propice au mécénat, par le biais de la marquise Isabelle d'Este. Mantegna avait collectionné quelques bustes antiques romains, qui furent offerts à Laurent de Médicis quand le Florentin visita Mantoue en 1483. Il peint quelques fragments architecturaux et décoratifs, et achève le "Saint Sébastien d'Aigueperse" (musée du Louvre). Il ne parvient pas à assumer les dépenses considérables nécessaires à la construction de la grande maison moderne qu'il entreprit de construire vers 1476 ; il dut en céder la propriété aux Gonzague en 1502.