Er nahm am Konklave 1958 teil. Am 4. Dezember desselben Jahres empfing er, an Lungenentzündung erkrankt, die Krankensalbung. José María Caro Rodríguez starb tags darauf um 13.20 Uhr in Santiago de Chile im Alter von 92 Jahren. Seine sterblichen Überreste ruhen in einer Kapelle im rechten Seitenschiff der Catedral Metropolitana de Santiago. Bis April 2006 befanden sich seine sterblichen Überreste in der neuen erzbischöflichen Krypta der Catedral Metropolitana de Santiago.