在香港土生土长的伍汉墀早年入读皇仁书院，成绩优异，毕业后即从事商业业务，于南北行内历史悠久的贸易行元发行任职英文秘书和经理，在广州也经营两家绸缎庄，后来加入中华汇理银行任职买办，并以其胞弟担任助手