築城の時期ははっきりしないが、15世紀中頃、二本松氏(二本松畠山氏)の家督争いに敗れた畠山政泰が高倉に移り、築いたとされる。