南宋初年，金兵不断南侵，宋高宗赵构偏安江左，执掌朝柄的秦桧等人畏敌如虎，一味妥协投降，胡寅目睹国家的内忧外患，心急如焚，对南宋朝廷极为不满，对秦桧之流深怀憎恨，他愤而辞去京官，请示归回湖南和父亲胡安国、弟弟胡宏等一同居住生活