马家遂辗转移居上海。1862年5月29日（同治元年），耶稣会在徐家汇设立初学院，22岁的马相伯为首批11名见习修士之一。在见习期间，他被派往苏州、太仓救护难民，感染严重的伤寒。1864年6月3日，马相伯完成见习，发初愿，献身教会，后升入大修院，研习神学、哲学、数学及天文等。1869年（同治八年），马相伯获得神学博士，并晋升神父，随后被派往安徽宁国府（宣城）及江苏徐州一带传教。马相伯任神父期间，与耶稣会发生数次冲突。当时，马相伯的大哥马建勋成为李鸿章的淮军粮台，又是中外交往的纽带，不久马家成为上海的名门望