小笠原長時は天文19年(1550年)、武田晴信に攻められて本城である林城を捨ててこの平瀬城に撤退し、その後、村上義清を頼り葛尾城に落ちていった。