Han var sønnesønn av en suksessfull irsk innvandrer i Albany i New York, og var økonomisk uavhengig hele livet. Faren gav ham og hans bror William James en fri og ukonvensjonell oppdragelse med flere reiser i Europa. Han fullførte aldri det påbegynte jusstudiet, men viet seg tidlig til skjønnlitteratur. Etter farens død i 1882 bosatte han seg i Storbritannia, og han ble britisk statsborger i 1915, kort tid før sin død. Han var ugift.