Роден е на 13 януари 1820 година в Антъни, Корнуол, Югозападна Англия, в семейството на Джордж Спенсър Ричардс и Ема Джейн. През 1832 постъпва в Кралския военноморски флот. Участва в Първата опиумна война в Китай (1839 – 1842) и плава в Южна Америка, Фолклъндските о-ви, Нова Зеландия и Австралия.