Sakin ve etkili bir defans ortası futbolcusu olan O'Leary pozisyonlarda iyi yer tutması ve gelişmiş oyun tarzıyla anıldı. Kariyerindeki ilk büyük başarı Arsenal ile 1979 FA Cup Finali'nde Manchester United'ı 3-2'lik galibiyet sonrası gelen kupa şampiyonluğu oldu. Bunun yanında O'Leary Arsenal'in kaybettiği 1978, 1989 kupa ve 1980 UEFA Kupa Galipleri Kupası finallerinde oynamıştı. 1982 yılında takımın kaptanı olan futbolcu, 18 ay sonra unvanı Graham Rix'e devretti.