石淵ダムの目的は洪水調節、灌漑、水力発電の三つである。先述した通り石淵ダムは灌漑に対する効果が大きいために戦後直ちに着手された。その後河水統制事業を発展させた河川総合開発事業がアメリカのテネシー川流域開発公社 (TVA) を参考として日本各地で活発になり、治水だけではなく灌漑、水力発電、上水道・工業用水道供給といった利水目的を包括した大規模河川開発計画も構想されるに至った。北上川水系では1950年の国土総合開発法制定に基づき北上特定地域総合開発計画 (KVA) が1951年に閣議決定され、隣接する鳴瀬川水系を包括し岩手・宮城両県を一体とした大規模河川総合開発が行われた。石淵ダムは他の北上川五大ダムである四十四田ダム（北上川）、御所ダム（雫石川）、田瀬ダム（猿ヶ石川）、湯田ダム（和賀川）と共に北上川の治水・利水の要として重要な位置を占めている。
内務省は胆沢川にダムを建設するに当たり、まずは建設可能な地点の選定を試みた。胆沢川は前川合流点までは峡谷を形成するが、尿前（しとまえ）川合流点を通過すると次第に胆沢扇状地が形成される。尿前川合流点より下流の山間部にダムを建設することについては扇状地の構造上、谷が次第に広くなることから当時の土木技術ではダムの長さ（堤頂長）が長くなるため当初設定していたダム本体の規模では貯水量が十分確保できなかったため断念した。一方前川合流点より上流については貯水池を形成できる適地が存在せず、結果前川合流点にある猿岩（後述）地点と現在のダムサイト地点が十分な貯水容量を確保できる好適地として最終候補に挙げられた。続く基礎地盤の調査で猿岩地点ではダム建設に耐えられるだけの地盤の強度が足りなかったが、現在のダムサイト地点では十分な強度を有することが判明したことから、当時の土木技術でダム建設が可能な唯一の建設地点として現地点が決定された。
ダムの名称である「石淵」はかつてこの一帯が猿岩を始め巨石や巨岩などによって険阻な峡谷が形成されていた所から「石淵野」と呼ばれたことに由来する。また河川名の「胆沢」については諸説があり、アイヌ語で「イ」（それが）・「サワ」（山間の平地）または「エサバ」（酋長のいる所）に由来する説のほか、胆沢扇状地の砂を「イサ」と呼びそれに沢を合体させたとする説、水路を意味する「イ」と窪地を意味する「サワ」を合わせた説などがある。しかし何れも定説になっていない。なおダムが建設された当時の自治体は胆沢郡若柳村であり、後に胆沢村に合併されさらに胆沢町に町制施行されたが平成の大合併に伴い水沢市、江刺市、胆沢郡前沢町・衣川村と合併して奥州市となり、旧胆沢町域は胆沢区となった（詳細は奥州市を参照）。
ダムが建設された胆沢川は北上川中流部における主要な支流の一つである。栗駒山系を形成する焼石岳（標高1,548メートル）を水源として東南に流路を取り、ダム地点上流で南西より流れ来る前川を合わせダム地点を通過すると面積約2万ヘクタールにもおよぶ日本最大級の扇状地・胆沢扇状地を形成。以後は概ね北東に流れ、奥州市水沢区において北上川に合流し太平洋へ注ぐ。流路延長は約48キロメートル、流域面積は約320平方キロメートルである。ダムは前川との合流点下流、胆沢扇状地の扇頂部に建設された。
1875年（明治8年）7月31日、飾磨県（兵庫県）神東郡田原村辻川（現：兵庫県神崎郡福崎町辻川）生まれで、最晩年に名誉町民第1号となった。父は儒者で医者の松岡操、母たけの六男（男ばかりの8人兄弟）として出生。辻川は兵庫県のほぼ中央を北から南へ流れる市川が山間部から播州平野へ抜けて間もなく因幡街道と交わるあたりに位置し、古くから農村として開けていた。字の辻川は京から鳥取に至る街道と姫路から北上し生野へ至る街道とが十字形に交差している地点にあたるためといわれ、そこに生家があった。生家は街道に面し、さまざまな花を植えており、白桃、八重桜などが植えられ、道行く人々の口上に上るほど美しかった。生家は狭く、國男は「私の家は日本一小さい家」だったといっている。家が小さかったことに起因する悲劇が幼き日の國男に強い影響を与え、将来的にも大きな影響を与えた。父・操は旧幕時代、姫路藩の儒者・角田心蔵の娘婿、田島家の弟として一時籍に入り、田島賢次という名で仁寿山黌（じんじゅさんこう）や、好古堂という学校で修学し、医者となり、姫路の熊川舎（ゆうせんしゃ）という町学校の舎主として1863年（文久3年）に赴任した。明治初年まで相応な暮らしをしたが、維新の大変革の時には予期せざる家の変動もあり、操の悩みも激しかったらしく、一時はひどい神経衰弱に陥ったという。幼少期より非凡な記憶力を持ち、11歳のときに地元辻川の旧家三木家に預けられ、その膨大な蔵書を読破し、12歳の時、医者を開業していた長男の鼎に引き取られ茨城県と千葉県の境である下総の利根川べりの布川（現・利根町）に住んだ。生地とは異なった利根川の風物や貧困にあえぐ人たちに強い印象を受ける。徳満寺という寺では、間引き絵馬（母親が、生んだばかりの我が子の命を奪っている姿を描いている）を見て、終生忘れることの出来ない衝撃を受ける。また、隣家の小川家の蔵書を乱読した。16歳のときに東京に住んでいた三兄井上通泰（帝国大学医科大学に在学中）と同居、図書館に通い読書を続ける。三兄の紹介で森鴎外の門をたたく。17歳の時、尋常中学共立学校（のちの開成高等学校）に編入学する。この年、田山花袋を知る。翌年、郁文館中学校に転校し進級する。19歳にして第一高等中学校に進学、青年期を迎える。東京帝国大学法科大学政治科（現・東京大学法学部政治学科）卒業後、明治33年（1900年）に農商務省に入り、主に東北地方の農村の実態を調査・研究するようになる。