På fritiden var Finsen en ivrig idrettsmann, primært innen seiling, roing og rifleskyting. I likhet med mange medstudenter ble han aktivt medlem av Akademisk Skytteforening, og konsentrerte fra 1883 sine krefter her, da hans helse ikke tillot de mer fysisk anstrengende øvelsene. Han deltok på flere skandinaviske ungdomsmønstringer, og vant såpass mange premier at skjeftet på riflen hans ble prydet med sølvplater.