Fitz-James vant en olympisk sølvmedalje i polo under sommer-OL 1920 i Antwerpen. Han var med på det spanske laget som kom på andreplass i poloturneringen bak Storbritannia. I semifinalen beseiret de USA med 13-3 men tapte finalen mot Storbritannia med 11-13. De andre på laget var Leopoldo Saínz de la Maza, José de Figueroa, Álvaro de Figueroa og Jacobo Fitz-James.