A lo largo de 1849 se realizaron algunas mejoras, como la construcción de una capilla, que se anexionó a la ya existente ermita de San Sebastián, utilizando algunos elementos arquitectónicos de otros templos, como puertas y columnas del desaparecido convento de la iglesia de San Pablo, hoy ocupado por los Jardines de Orive. Además, también provienen de la iglesia de San Sebastián tres esculturas, doce pinturas del martirio de los Apóstoles y la campana; mientras que el altar provenía del también desaparecido convento de la Encarnación Agustina, y el púlpito de la iglesia de San Juan de Dios. El San Rafael ubicado en la puerta provendría de un triunfo que hubo delante del convento de la Arruzafa. En el centro del cementerio se colocó un pedestal con la alegoría de la Fe y la galería de arcos que rodea el cementerio primitivo se construyó en 1861 y antiguamente se podían observar en ella inscripciones de algunas de las "Coplas por la muerte de su padre" de Jorge Manrique. También se inhumaron en este cementerio, en bovedillas proporcionadas por el Ayuntamiento, jefes y oficiales fallecidos durante la batalla de Alcolea de 1868.