墩官来桥，南宋末年名将伍隆起，正是其同宗。道光廿二年六月初二日生于英属马六甲峇都安南，三岁时随父亲回广州芳村定居，在广州读书。十三岁时遭绑架，说服绑匪逃脱。
移居香港与海外.十四岁时在亲戚陈蔼亭陪同下以伍才之名往香港求学，在圣保罗书院就读，毕业后于1861年任香港的高等审判庭、地方法院等的翻译。1860年，伍才与黄胜利用报社废弃的中文铅字，一同创办中国第一份中文报纸《中外新报》；同时，又协助陈蔼亭创办《香港华字报》。1864年与牧师何进善的长女成婚。1871年调任港府巡理署译员。