Jacoby er oppvokst i bydelen Torstrand i Larvik og har i mange år vært bosatt i Ula i Vestfold. Han er sønn av forfatteren Arnold Jacoby.