宇都宮氏の家臣・芳賀氏の居城であった。