胡念祖1927年生於湖南省益陽縣桃花江畔之石牛江，其號石牛老牧、桃江遊子由此而來。胡氏幼年期間即喜塗鴉，中学后更喜绘历史人物故事于厅堂门楣之间。1946年入南京美專攻讀國畫選科，正式接受繪畫訓練，1948年於南京拜黃君璧為師研習山水畫，次年因國府遷臺追隨黃氏來臺；1951年受聘於台灣省立師範學院（今國立台灣師範大學）藝術系助教，期間得溥心畬教授研究北宗山水畫。1953年与同道喻仲林、孙家勤同组『丽水精舍』于台北，开班授徒。1959年任教於國立台灣藝術專科學校（今國立台灣藝術大學）。爾後辭去教職，專攻水墨山水創作，1971年胡念祖赴美國定居，並於1973年入美國紐約藝術學生聯合學院進修，專攻山水創作並推廣文化。其畫風以中國傳統繪畫為基礎，擷取西洋繪畫精華，融合中西方藝術創作理念。1985年獲美國杜威大學榮譽博士學位，1988年自紐約返臺，任教於國立藝術學院（現國立臺北藝術大學）及國立台灣藝術專科學校。