30年（1955年）被释放后自政治界引退。于昭和52年（1977年）4月6日在宫内厅医院（くないちょうびょういん）逝世、享年87歳。
家庭.木户的祖母木户治子，是“维新三杰”之一的长州藩士木户孝允之妹。其妻则是陆军大将、第四任台湾总督儿玉源太郎的女儿。