Arnulf Olsen var aktiv i friidrett for IL Stein og tok flere medaljer i nordnorske mesterskap 1948–1954. Etter at han trakk seg tilbake fra politikken var han meget aktiv i Hammerfest historielag, herunder som styremedlem. Dessuten medvirket han til den årlige utgivelsen av årboken . Han hadde også eneansvaret for utgivelsen av 14 årganger av historielagets «Hammerfest-kalenderen».