1年6月，他出任中国人民银行西安分行行长、党委书记兼国家外汇管理局陕西省分局局长。2003年，中国银行业监督管理委员会成立。同年7月，胡怀邦出任银监会监事会工作部主任。2005年2月，他升为银监会纪委书记和党委委员。2007年9月，他被任命为中国投资有限责任公司党委副书记、监事长、纪委书记。2008年9月他出任交通银行董事长。2013年4月任中国国家开发银行董事长。2018年9月，胡怀邦退休。
落马.胡怀邦退休后不久，公开新闻报道将胡怀邦同原中共甘肃省委书记王三运、华信能源老板