『玉葉』(正治2年正月2日条)によると、他の武士達から恨まれた景時は、頼家の弟実朝を将軍に立てようとする陰謀があると頼家に報告し、他の武士たちと対決したが言い負かされ、讒言が露見した結果、一族とともに追放されてしまったという。