家遂搬去上海躲避战乱。马建忠与四哥就读中西学并重的天主教耶稣会徐汇公学，学习英文、法文、拉丁文、希腊文等课程，同时准备科举，后与其四哥同为该校首届毕业生。受1854年至1860年第二次鸦片战争的影响，他“决然舍其所学，而学所谓洋务者”，进入耶稣会初学院做修士，继续学习拉丁文、法文、英文和希腊文等。经过十余年的刻苦努力，成了一位“善古文辞，尤精欧文，英、法现行文字以至希腊、拉丁古文，无不兼通”的学贯中西的新式人才。
留学.1870年（同治九年），经二哥马建勋引荐，他也成为李鸿章的幕僚