Etter studiene i Leipzig bosatte Ole Olsen seg i Christiania (Oslo), hvor han arbeidet som komponist og musikklærer. I årene 1877–1880 vikarierte han som dirigent i Musikkforeningen, mens Johan Svendsen var i utlandet. I 1879 giftet han seg med pianofabrikanten Karl Hals' datter Marie. I 1884 ble han dirigent for Anden brigades musikkorps (som senere byttet navn til Forsvarets Stabsmusikkorps) i Oslo, og var i perioden 1899–1919 armémusikkinspektør med majors grad. Han var også aktiv i Kunstnerforeningen. Som frimurer var han aktiv i Den norske Frimurerorden, hvor han ledet Frimurerorkestret og komponerte leilighetsverk til ordenens jubileer og høytidsdager.