Ditlev-Simonsens store lidenskap er bøker, med biografier og historiebøker som klare favoritter. Fra 1984 til 1999 eide han Trolltun i Vågå, et anlegg med gamle laftede hus, som ble omhyggelig satt i stand.