老幺，有四兄一姊。二哥马建勋早年受曾国荃拔擢，入李鸿章幕府，司淮军粮台。四哥马相伯是震旦大学、复旦大学的创办人。马建忠从小学晓中国传统经史，五岁就谂考科举。1853年（咸丰三年），太平军攻入南京，马家遂搬去上海躲避战乱。马建忠与四哥就读中西学并重的天主教耶稣会徐汇公学，学习英文、法文、拉丁文、希腊文等课程，同时准备科举，后与其四哥同为该校首届毕业生。受1854年至1860年第二次鸦片战争的影响，他“决然舍其所学，而学所谓洋务者”，进入耶稣会初学院做修士，继续学习拉丁文、法文、英文和希腊文等。经过十余年的