Agré nahm am Konklave 2005 teil, in dem Benedikt XVI. gewählt wurde. Am 2. Mai 2006 nahm dieser Agrés aus Altersgründen vorgebrachtes Rücktrittsgesuch an. Wegen Überschreitung der Altersgrenze von 80 Jahren nahm er nicht am Konklave 2013 teil, in dem Papst Franziskus gewählt wurde. Nach einer Erkrankung wurde Kardinal Agré 2014 in ein Pariser Krankenhaus eingeliefert, wo er am 9. Juni desselben Jahres verstarb.