I 1895 ble Pettersen gift med Hildur Børs, som var fra Bergen. De bodde i en villa ved Langvikbukta på Bygdøy. Ellers likte han å reise, særlig til Paris. Han reiste også til Karthagos ruiner og Italia, hvor han besøkte vennene Christian Meyer Ross i Roma og Willard Fiske i Firenze. I Norge var han et ivrig medlem av Bibliofilklubben, hvor han var formann da han døde.