Debido a su actitud titubeante ante las tropas francesas después del levantamiento del 2 de mayo de 1808, afrontó el 24 de mayo una revuelta popular liderada por cabecillas como Carlos González que reclamaba que se armara a la población. La negativa de Guillelmi llegó a ponerle en riesgo personal, salvándose por la intervención de la familia Torres. Tras repartirse finalmente las armas, fue encarcelado en la Aljafería. El 25 de mayo fue destituido por la Junta de Aragón, que había tomado el poder de facto y sustituido por Carlos Huoni, quien no llegaría a hacerse cargo. José de Palafox, aristócrata local y líder de los partidarios del príncipe Fernando tomó el poder efectivo.