Am 28. Oktober 1953 wurde er von Papst Pius XII. zum Titularbischof von "Arethusa dei Siri" und Weihbischof in Ernakulam ernannt, die Bischofsweihe spendete ihm Eugène Tisserant, Kardinalbischof von Ostia und von Porto e Santa Rufina, Sekretär der Kongregation für die orientalischen Kirchen, am 30. November 1953 in Ernakulam; Mitkonsekratoren waren Augustine Kandathil, Erzbischof von Ernakulam, und Martin Lucas SVD. Am 20. Juli 1956 wurde er zum Erzbischof von Ernakulam ernannt. In den Jahren 1962 bis 1965 nahm er am Zweiten Vatikanischen Konzil teil. In den sechziger und siebziger Jahren leitete er als Präsident die Konferenz der syro-malabarischen Bischöfe. Im April 1969 nahm ihn Papst Paul VI. als Kardinalpriester in das Kardinalskollegium auf (Titelkirche "Santa Maria Regina Pacis"). 1972 übertrug er ihm die Leitung der Päpstlichen Kommission für die Überarbeitung des Ostkirchenrechts. Er nahm an beiden Konklaven des Jahres 1978 teil, im August 1978 war er an der Wahl von Papst Johannes Paul I. und im Oktober desselben Jahres an der von Johannes Paul II. beteiligt. Am 30. Januar 1984 legte Joseph Parecattil aus Krankheitsgründen die Leitung seines Erzbistums nieder. Die Päpstliche Kommission für die Überarbeitung des Ostkirchenrechts leitete er bis kurz vor seinem Tod.