979年(天元2年)に祇園神社(現在の北岡神社)が鎮座してからは祇園山と呼んだ。