Född i Danvérs i staten Massachusetts , började Peabody vid elfva års ålder sin bana i en specerihandel , och blef fyra år derefter handelsbiträde åt sin äldre broder i Newbury Port.