Den 4. oktober 2003 innvilget pave Johannes Paul II biskop Calderón Polos aldersbetingede fratreden. Hans etterfølger som visepresident for Den pavelige kommisjon for Latin-Amerika ble den meksikanske erkebiskopen Luis Robles Díaz, som ble den første i embedet som selv kom fra Latin-Amerika. I de siste årene av sitt liv forble Calderón Polo aktiv som konsulent for Bispekongergasjonen, som han hadde vært medlem av siden 1989.