Hans far døde tidlig og moren er karakterisert som ustabil og tyrannisk. Som ung studerte han jus, men fant ut at en karriere i embetsverket ikke var for ham. Da hans mor døde av selvmord i 1856, var hans fremtid sikret gjennom arv etter henne og andre. I 1857 holdt han seg på dannelsesreiser i Paris og München, og fikk i 1858 følge av sin søster Betsy i Roma og Toscana.