正平元年(1346年)に赤松貞範が姫山に築城のため城下に移転、永禄年間(1558年-1570年)に黒田職隆が築城のため再び青見川の付近に移転、慶長13年(1608年)の池田輝政による姫路城築城の際、更に上寺町(現在の五軒邸)に移転して寺号も現在の姫路山正明寺に改めた。