16世紀に牟岐大膳充が築いた牟岐城が牟岐駅の南東部の観音山(城山)にあり、この山は牟岐城の物見櫓のあった所で、頂上は平垣になっている。