Родился в Спрингфилде, графство Эссекс в Англии, в семье Роберта Ливермора и Мэри Кадуорт и был крещён 15 декабря в возрасте шести недель. В юности был учеником каменщика. В 17 лет он решил стать моряком и присоединился к команде английского торгового судна . Прибыв в Балтимор, штат Мэриленд, он поступил в военно-морской флот Соединенных Штатов и отправился в Южную Америку. Под командой лорда Кокрейна в 1820 году он участвовал в Войне за независимость Перу против Испании. По окончании военных действий в Перу он подписал контракт с английским торговым судном, направлявшимся в Калифорнию.