Pronto, el descontento debido a su estilo autoritario de las obras del patio de petrino, la envidia y la acusación de haberse apropiado de fondos públicos, se vio obligado a mudarse a Nápoles en 1592.