年幼即随其父到香港，在香港圣保罗书院接受教育。十四岁在香港进入船厂学习机械，因工业意外失去右手三指，于是改习英文。毕业后任教员，之后转任招商局总书记，及沙宣洋行副经理。1890年（一说为1892年），与谢缵泰等十余人组织辅仁文社，由杨任社长，在上环百子里成立辅仁文社，以“开通民智”、“尽心爱国”为宗旨。文社购买新学书报，讨论中国的发展及改革路向。杨衢云同时亦加入志在反清之洪门。1895年1月，孙中山到香港，经孙之好友，辅仁文社成员尢列撮合；将孙于1894年11月在檀香山设立之兴中会与辅仁文社合併。合