经营马镫舖。初随马大成学习功力拳，后慕李存义大名，投李存义门下，学习形意拳。李存义起初嫌他「身矮力薄，难以成材」，经周明泰说情才勉强收下，但只授噼、崩二拳。但尚云祥日夜苦练，得到李存义的赞赏，认为拳架得到他的真传，于是将所学完全传授给他。因李存义与程廷华是好友，李存义也将尚云祥介绍至程廷华门下，学习八卦掌。尚云祥的八卦掌，以动中发劲、刚勐迅捷闻名，在这期间，他与马贵、张策、王茂斋成为好友。因他身形矮胖、腿功过人，又有「铁脚佛」、「铁肐膊尚」的绰号。庚子拳乱时，八国联军进入北京，李存义带领弟子至山西避