Balme vant en olympisk bronsemedalje i skyting under OL 1900 i Paris. Han kom på tredjeplass i 25 meter pistol bak sine landsmenn Maurice Larrouy og Léon Moreaux. Åtte år senere, under OL 1908 i London,var han med på de franske lagene som kom på tredjeplass i 300 meter rifle og fjerdeplass armégevær.