頼氏は幕府に重きをなしたが、1272年に失脚して佐渡に流されてしまった。