Tijdens het consistorie van februari 1946 creëerde paus Pius XII hem - tegelijkertijd met de Nederlandse aartsbisschop Johannes de Jong - kardinaal. De "Santi Quattro Coronati" werd zijn titelkerk. Hij was de eerste kardinaal die geboren was op Australische bodem. Kardinaal Gilroy nam deel aan het Conclaaf van 1958, dat leidde tot de verkiezing van paus Johannes XXIII en aan het Tweede Vaticaans Concilie dat door deze paus bijeengeroepen was. Hij was ook een van de kieskardinalen tijdens het conclaaf van 1963 dat paus Paulus VI aanwees als opvolger van Johannes XXIII. Hij werd in 1970 gekozen tot "Australiër van het jaar". In 1971 vroeg en kreeg hij op grond van zijn leeftijd ontslag. Hij ging wonen in een huis voor emeriti priesters, gerund door de Kleine Zusters van de Armen.