1877年转入安纳波利斯的美国海军学院，1884年毕业，但当时美国海军没有足够的军官职缺，只有成绩优异的毕业生才能当上军官，他在拿到了差不多一年薪资的补偿费之后，回到家乡。
来到中国.1885年（清光绪十一年），马吉芬来华，获李鸿章邀请到北洋水师任职，作为天津水师学堂的外籍教习（教官）任教近9年。在此期间，他为北洋水师的组建提供了很多帮助，还曾带队前往英国协助监督4艘清廷订制的铁甲舰的建造。马吉芬非常热爱海军事业，一直希望有一天能回到美国海军任职，也希望在中国海军的经历能为他重返美