Varden ble født i Sarpsborg i en ikke-praktiserende familie tilhørende Den norske Kirke. Han vokste opp 20 km lenger øst, i tettstedet Degernes. Selv om farmoren og hans farfar, som var protestantisk pastor, og som bodde over 400 kilometer unna, hadde en dypt pietistisk tro, var foreldrene til Varden agnostikere.