Aarhaug er sønn av diakon og misjonær Aksel Aarhaug (1921-2000) og jordmor Sigrid Kruse Aarhaug (1921-2009), far til programleder og vokalist Nicholas Carlie fra 1. ekteskap med Lisa Carlie, og til musikerne Stein Inge og Guttorm Aarhaug fra 2. ekteskap med Astrid Fossen.. Han er fetter til kompnist og musiker Bjørn Kruse, musiker og arrangør Philip Kruse, og barnebarn til Just Kruse (1886-1962).