Passmore vant en olympisk sølvmedalje i lacrosse under OL 1904 i St. Louis. Han var med på laget som tapte finalen med 2-8 til det canadiske laget . Hans eldre bror George spilte også på laget.