Rubach ble utdannet ved Tromsø Stifts Underofficersskole fra 1903 til 1907. I 1911 ble han ansatt som lærer ved samme skole. Han ble senere ansatt som klarinettist ved 6. divisjons musikkorps, også kalt divisjonsmusikken (nå kjent som Hærens musikkorps), hvor han også var arrangør.