Gilroy war Teilnehmer am Konklave 1958 und am Konklave 1963. In den Jahren 1962 bis 1965 nahm er am Zweiten Vatikanischen Konzil teil, in dessen Verlauf er auch administrative Aufgaben im Präsidium versah. Die Leitung des Erzbistums Sydney legte er am 9. Juli 1971 nieder.