以学行见称，尤工尺牍，先任隋太谷长，后任石艾长，有治名。太原兵起后，召补大将军府掾，参与谋略，以军功拜光禄大夫，跟从李建成攻克西河。李世民为渭北道元帅，殷开山为长史，与刘弘基屯兵故城，破京兆内史卫文升之兵，赐爵陈郡公，迁丞相府掾。从秦王李世民率八总管兵讨薛举战败，士卒死者十之五六，被除名为民。参加平薛举子薛仁果之役，后恢复爵位。武德二年，兼任陕东道大行台兵部尚书，迁吏部尚书。又跟随李世民征王世充，以战功进封郧国公。武德六年（622年）在讨伐刘黑闼的路上，殷开山病死，李世民临丧痛哭，赠陕东道大行台右仆射，