三岁时随父亲回广州芳村定居，在广州读书。十三岁时遭绑架，说服绑匪逃脱。
移居香港与海外.十四岁时在亲戚陈蔼亭陪同下以伍才之名往香港求学，在圣保罗书院就读，毕业后于1861年任香港的高等审判庭、地方法院等的翻译。1860年，伍才与黄胜利用报社废弃的中文铅字，一同创办中国第一份中文报纸《中外新报》；同时，又协助陈蔼亭创办《香港华字报》。1864年与牧师何进善的长女成婚。1871年调任港府巡理署译员。1874年与妻子自费赴英国留学，在英国伦敦大学学院攻读法律，并于1874年入四大讼务