Paine var påmeldt i alle tre pistoløvelsene under lekene i 1896. Sammen med broren John Paine ble han nektet deltagelse i 25 m silhuettpistol fordi våpnene deres ikke var i godkjent kaliber.