水谷氏の出自には諸説がある。一説には鎌倉時代、藤原秀郷の七世の孫である島田景頼の子・親実が、陸奥国岩城郡水谷の地頭となり、水谷を称したのが始まりという。親実は田村仲教（清和源氏頼親流田村氏）の子・仲能を養子とし、仲能は関東評定衆に任ぜられて鎌倉亀ケ谷に屋敷を構えた。仲能の子・重輔と、重輔の子・清有（岩城郡の石川有光の子で、重輔の養子となる）は六波羅評定衆となる。後に清有は陸奥国行方郡猿田七郷を領して猿田に住し、その館は猿田御所と呼ばれたという。後にその一流が常陸国に移って結城朝広に仕えたとされている。小山氏の乱後、再興された小山氏の当主として結城氏から小山泰朝が送られた際に水谷氏もこれに従い、このため水谷氏は時期によって小山氏・結城氏両方の被官の時代が存在するとされている。水谷氏の軍記として、『水谷家譜』があるが江戸時代に成立した同書には全く内容が異なる2種（東京大学史料編纂所架蔵本と静嘉堂文庫本）がある。これは結城氏との関係が強かった時期と独立した大名として確立した時期にそれぞれ編纂されたものとみられ、当時の水谷氏の立場を示すものと考えられている。
1478年（文明10年）結城直光のころ、水谷勝氏が下館城を築城し、水谷氏代々の居城となった。1545年（天文14年）、下総国宇都宮氏に備えて6代正村（蟠竜斎）が常陸久下田城を築城。宇都宮氏の攻撃を受けるが撃退する。勝氏から数えて7代勝俊のころの関ヶ原の戦いの功績により、結城氏から独立して常陸国下館3万1千石を安堵されて城主大名に列した。寛永の高直しによって石高は4万7千石に改められる。1639年（寛永16年）に備中国川上郡、播磨国美嚢郡内5万石備中国川上郡成羽へ3千石加増で国替え。1642年（寛永19年）に備中国松山5万石へと移封され、松山藩政の基礎を築いた。ちなみに、備中松山城の現存天守は水谷氏の改修によって現在の姿となったものである。1693年（元禄6年）備中松山水谷家の3代勝美に嗣子なく、弟勝時を後継者としてたてたが、家督相続が許されず除封、大名水谷家は絶家となった。勝時はのちに、3千石を与えられて旗本として家督を相続し、旗本水谷家は明治維新を迎えるまで存続した。
平家物語などの軍記物語や古記録の中に戦場で活躍する武器としてしばしば登場する。治承・寿永の乱について書かれた軍記物語である『源平盛衰記』には、畠山重忠が用いた太刀として「身巾四寸（約12cm）長さ三尺九寸（約120cm）」の太刀である「秩父がかう平」や武蔵国綴党の大将である太郎、五郎の兄弟が帯刀していたという「四尺六寸（約140cm）の太刀に熊の皮の尻鞘入」が記述されており、当時既に三尺を超えるものがあったことが伺われる。時代が下って『太平記』には、五尺以上の太刀が多く記述され、最大で九尺三寸（約282cm）のものが描写されている。五尺（約150cm）の大太刀二振を佩き、更に手には刃長八寸の大斫斧（まさかり）を持って参陣したという長山遠江守（ながやま とおとうみのかみ）や、五尺六寸（約170cm）の大太刀を携えて勇戦したという大高重成、七尺三寸（約221cm）の大太刀を振るって奮戦したという山名の郎党である福間三郎の描写からは、長寸の大太刀が実際の戦闘で使われていた状況が推察できる。南北朝時代には大太刀に象徴されるように太刀が薙刀と共に戦乱の中で大いに活躍した。室町期の作で備州長船法光という大太刀があり、総長377.6cm,刃長226.7cmという長大なものであるが、歴史学者の近藤好和が実際に手に取ってみたところ、意外に持ちやすく、十分に実戦使用可能だという。近藤は大太刀・大薙刀を実際に手に取った経験から長寸の太刀でも反り具合や柄の状態などの微妙な調整で手持ちはよくなるものだとしている。室町時代の僧である一休宗純は自身の背丈よりも長い朱塗鞘の大太刀を腰に差し、こじり（鞘の先端）を引き摺りながら街を歩いた、という逸話が『一休和尚年譜』他の伝記にある。この大太刀は刀身は木製（竹光）で、「鞘に納めていれば豪壮に見えるが、抜いてみれば木刀でしかない」と、外面を飾ることにしか興味のない当時の世相を批判したものであったとされる。大太刀を携えた一休宗純の姿は「一休和尚像 自賛 伝曾我墨渓筆」に描かれて現代に伝えられている。戦国時代には、朝倉氏や長尾上杉氏が「力士隊」と呼ばれる巨躯巨漢の者を集めた部隊を編成し、大太刀を持たせて戦わせたことが記録されている。朝倉氏の家臣である真柄直隆、真柄直澄の兄弟は、共に戦場で五尺三寸（約175cm）の大太刀を用いて奮戦し、両名ともに姉川の戦いで討ち取られたものの、その大太刀は「太郎太刀」「次郎太刀」の名で現在に伝えられている。現在でも、神社への奉納品や、徳川家などで所蔵されていた個人所蔵品が徳川美術館（柳生の大太刀）、渡辺美術館、刀剣博物館などの博物館に納められたもの等が少数ではあるが現存している。重要文化財に新潟県の弥彦神社が所蔵する七尺四寸二分（約225cm）の大太刀がある。新古刀通じて最長の大太刀は、山口県下松市花岡八幡宮所蔵の「破邪の御太刀」（刃長345.5cm、全長465.5cm、75kg）である。これは幕末の尊皇攘夷思想を背景として、氏子が南朝方の刀匠であった延寿派の末裔である延寿国村二十七代国綱（後、国俊と改銘）に特注した奉納刀である。砂鉄300貫を用い、川を堰きとめ焼き入れを行う等、大太刀製作に纏わる逸話が残されている点でも貴重である。