Paine entrou nas três provas de tiro nos Jogos de 1896, mas na verdade, competiu em apenas um. Ele, junto com seu irmão Sumner Paine, foi desqualificado na prova de pistola 25 metros por não ter uma arma de calibre apropriado. Os irmãos Paine usaram revolvers Colt, as armas de fogo que eles usavam eram muito superiores daquelas usadas pelos seus oponentes na carabina militar. John ganhou fácil a prova, com escore de 442 pontos em 25 tiros de 30 tiros. Sumner não ficou muito atrás, com 380 pontos em 23 tiros; o terceiro lugar ficou com apenas 205 pontos.