O’Leary har rekorden for flest spilte kamper for Arsenal, 722 førstelagskamper (568 ligakamper) mellom 1975 og 1993. Han har 12 kamper for Leeds United FC i perioden 1993-95. Han var forsvarsspiller, og laget totalt 12 mål i løpet av sin lange karriere. Han var manager for Leeds fra 1998 til 2002, og for Aston Villa fra 2003 til 2006.