Kristiansen var ofte på reiser og hadde i løpet av livet besøkt de fleste landene i Europa. Fra 1883 til 1884 bodde han i Paris for å lære fransk, og i perioden 1896–1897 bodde han i Berlin. Ved sin død testamenterte han alt han etterlot seg til Nansenfondet.