Unger skrev artikler i , , og . Da han bodde i Bergen kom han med i Vestmannalaget og ble en forkjemper for landsmålet. Han kan ha vært den første presten som holdt preken på landsmål i kirken. Han skrev også forordet til Georg Griegs anonyme oversettelse til landsmål av Markusevangeliet («Evangelium etter Markus»). Sammen med Olav Lofthus drev han en periode en folkehøyskole i Vikøy. I 1911 ga han ut en bok med .