舍其所学，而学所谓洋务者”，进入耶稣会初学院做修士，继续学习拉丁文、法文、英文和希腊文等。经过十余年的刻苦努力，成了一位“善古文辞，尤精欧文，英、法现行文字以至希腊、拉丁古文，无不兼通”的学贯中西的新式人才。
留学.1870年（同治九年），经二哥马建勋引荐，他也成为李鸿章的幕僚，随办洋务。因为熟悉西洋文化和语言，他受到李鸿章的赏识。1876年（光绪二年），他以被李鸿章派往法国，随员及翻译身份陪同福州船厂学生出洋，经香港抵达法国。1877年（光绪三年），他通过了巴黎考试院的文科和理科