Cavanagh ble olympisk mester i polo under OL 1936 i Berlin. Det var femte og siste gang polo var med som olympisk sport. Cavanagh var med på det argentinske laget som vant poloturneringen foran Storbritannia og Mexico. De vant begge sine kamper, 15-5 over Mexico og i finalen beseiret de Storbritannia med 11-0. De andre spillerne på laget var Luis Duggan, Andrés Gazzotti Manuel Andrada.