山水库兴建于1976年（民国六十五年），由于中央政府决定开辟新竹科学工业园区以推展高级精密工业，预计科学园区开发完成后，需用大量用水，为了配合园区开发，台湾省政府建设厅于1976年请水利局规划设计，并于1981年4月开工，1985年6月完工，总工程费约新台币六亿八千万元。
设施.宝山水库系一离槽水库，水源系利用头前溪之支流上坪溪丰水期或雨季之迳流，于竹东镇软桥里竹东圳入口处设拦河堰引水，经竹东圳导水入水库储存。宝山水库位置在头前溪支流柴梳溪上游，即宝山乡山湖村，距新竹市约十六公里。