乘船经香港赴上海，从上海乘火车到河南洛阳。同年6月，他独自从洛阳出发，最终抵达虎嵩山阿訇帐下。当年中国西北地区战乱不断、匪患严重、霍乱流行，民众生活困苦。他沿途与当地回民同样常以野菜及植物块根为食。晚年他回忆称：“这段旅途，也可以说是唐僧取经，唐僧穿过火焰山，三打白骨精，我是穿过赤地千里的黄土高原，几战霍乱症。如果当时没有坚强的毅力，是不可能到达目的地的。”在虎嵩山阿訇帐下，马坚学习3年，熟练掌握了波斯语的文法、语法，还汉译了波斯文《伟嘎业》和《真境花园》。不久他返回上海，进入哈德成阿訇创办的上海伊斯兰