Skaug arbeidet fra 1917 som organist i Vår Frue kirke i Trondheim, ved siden av å drive musikkskolen. Synet hans ble stadig mer svekket, og fra 1922 var han helt blind. Da kirken anskaffet et moderne orgel med 50 stemmer, fryktet mange at han ikke ville klare overgangen fra det enkle orgelet som tidligere hadde stått der, men Skaug lærte seg å spille på det nye orgelet, og fortsatte som organist i Vår Frue til 1947.