生于山西省定襄县西关村一个穷苦却具有文化传统的农家，幼年以放羊为生。牛汉的父母都是蒙古族后裔，母亲姓“唿延”。牛汉的父亲在大革命以前，曾在北京大学旁听了两年，并在那时参加了中共党组织的活动，后来回到家乡，在定襄县立初中教史地和语文。父亲告诉牛汉，其祖先自元朝便一直生活在汉族地区，生活安定，不愿再返回蒙古草原。牛汉的本名“史承汉”即根据该意思所起，意为承认汉文化。牛汉的两位舅舅也是中共党员。长大成人后，牛汉身高达到1.91米，肩宽体壮。1931年前后，山西省开挖己巳渠，占用了牛汉家本来就仅够活命的耕地却不