Pave Paul VI kreerte ham til kardinalprest av S. Chiara a Vigna Clara i det pavelige konsistorium av 28. april 1969, og han ble med dette den første kardinal residerende i Skottland siden David Beaton over fire århundre tidligere. I 1977 ble Gray den første kardinal til å tale for General Assembly of the Church of Scotland. Han hadde tidligere hatt samtaler med denne kirkes ledelse om forhold knyttet til ekteskap mellom deres respektive medlemmer.