El cardenal Tarancón siguió desempeñando un importante papel conciliador durante la transición como presidente de la Conferencia Episcopal, cargo que ejerció desde 1971 hasta su sustitución por Gabino Díaz Merchán en febrero de 1981, al expirar su tercer mandato. La elección de Juan Pablo II en el segundo cónclave de 1978 supuso un cambio en el apoyo de la Santa Sede hacia las medidas adoptadas por Tarancón; mientras que Pablo VI mostró su apoyo a la separación progresiva de la Iglesia del régimen, Juan Pablo II fue muy crítico con la falta de protagonismo de la Iglesia. En 1982 Tarancón se reunió con el papa para presentarle su dimisión al cumplir los 75 años y el papa lo abroncó por las medidas que había tomado durante su mandato al frente de la Conferencia Episcopal. Poco después el papa viajó a España, días después de la victoria del PSOE en la elecciones generales. Poco después, Tarancón recibió por sorpresa la noticia de que había sido aceptada su dimisión.