祖父胡显韶，为诸生；父亲胡达源，任翰林院侍讲。胡林翼生于嘉庆十七年六月初六日酉时，少时风流无赖，然天资聪颖，“笃嗜《史记》、《汉书》、《左氏传》、《司马通鉴》既中外舆图地志，山川危塞、兵政机要，探讨尤力。”道光十年（1831年）在桃花江陶氏别墅娶两江总督陶澍之女陶静娟，婚后仍流连于秦淮河畔，陶澍说：“润之之才，他日勤劳将十倍于我，后此将无暇行乐，此时姑纵之。”道光十六年（1836年）中进士，选庶吉士，散馆授翰林院编修。先后充任会试同考官、江南乡试副考官，因事降一级调用。父丧丁忧去职，服阙后，捐纳内阁中书。