この館の築造については、鎌倉時代後期に第7代当主大友氏泰(1321年(元亨元年)-1362年(南朝:正平17年、北朝:貞治元年))によって築かれたとする説をはじめ諸説がある。