Ivarson studerte film både i USA og Tyskland. Han debuterte som regissør og manusforfatter i Tyskland i 1923 med under pseudonymet Harry Williams. Den ble etterfulgt i Norge av (1924), (1925), (1926), (1927) og (1927), som ble hans siste stumfilm. På 1930-tallet gikk Ivarson over til talefilm og regisserte - sammen med Per Aabel - (1933). I 1943 regisserte han sin siste film, dokumentarfilmen . Ivarson var sjef for NRKs virksomhet i Bergen under krigen og satt i Kulturtinget.