弘治3年(1557年)7月、古河城復帰を許されたが、9月には氏康によって廃された嫡男・藤氏の義氏打倒の陰謀が発覚した。