当初は高槻城内にあったとされるが、永禄年間(1558〜1569年)の高山右近の高槻城改築にあたりこの地を賜り移転したとされる。