Ole Olsens far var kirkeorganist. Ole Olsen hadde arvet musikaliteten, og allerede som 6–7-åring var han vikar for faren.