I hovedstaden tok Ole Koppang timer i piano, orgel og harmonilære hos Ludvig Mathias Lindeman, Otto Winter-Hjelm og Edvard Grieg. Han fikk seg organistjobb i først i Gamlebyen kirke, deretter et par år i Østre Aker kirke. Deretter var han i 46 år, fra 1876 til 1921, organist i Johanneskirken.