胡子勋之子。胡祖荫以县学生候选郎中，承袭三等男爵，清廷以其为功臣之后，特诏以五品京堂候补，历任通政司、邮传部左、右参议。光绪二十六年（1900年），湖南省成立全省团防总局，胡祖荫出任团练大臣，统领湖南省各县的团防。不久，全省团练大臣改为团防督办，长沙人汤聘珍出任团防督办。