遭到孙传芳不信任。1927年4月，北伐军战胜孙传芳部后，白宝山率部投靠蒋介石，不久该部被调往浙江并遭缴械遣散。1927年9月，白宝山去职，此后先后寓居大连、天津。1930年2月，任国民政府军事参议院参议。1936年2月，获授少将军衔。1938年，任陇海铁路护路司令。1939年11月，升为中将军衔。1941年11月3日，白宝山在重庆病逝，享年63岁。