于木曾氏、小笠源氏的控制之下。的家臣高柴景长在1524年（大永四年）三月受命在苗木建造神明神社（“苗木字日比野”）。1526年（大永六年），远山一云入道昌利从植苗木移馆到高森山。1534年（天文三年），的本城被攻陷落，小笠原定基之子逃往甲斐国，投靠武田氏，远山氏的威胁消失。1542年（天文十一年）十一月，远山景安向笠木社捐赠梵钟，以此巩固于苗木的势力。
筑城之后到本能寺之变后.1532年～1555年（天文年间），远山正廉在高森山建造苗木城。1560年（永禄三年）五月，苗木勘太郎