艦船乗組み、海兵監事などを経て、海軍大学校甲号学生（2期）となる。海大甲号学生はのちの甲種学生に相当するものであり、｢海上勤務一年以上ノ大尉ニシテ砲、水、航、機ノ各科長及各科教官ノ職ニ適スル学術ヲ修ムル者｣から選ばれ一年間の教育を受けた。寺垣は引き続き水雷術練習のため｢迅鯨｣で履修課程を終え、水雷長適任証書を授与された。こうして寺垣は水雷を専門とする士官となり、大尉から少佐時代を主に水雷関係の職務に就く。1894年（明治27年）3月には「龍田」回航委員としてイギリスへ出張した。しかし7月に日清戦争が始まり、「龍田」は中立国であったイギリスによってアデンで抑留となる。寺垣は9月に帰国し、海大教官、横須賀水雷敷設隊司令を務めるものの、｢龍田｣の日本への引渡しが認められると再び回航委員としてアデンに向かい、翌年3月に帰国した。戦後に勳五等に叙されている。中佐、大佐時代の初期は海軍省主事や副官の軍政配置にあったが、1900年（明治33年）12月以降は「松島」、「吉野」、「千歳」、｢浅間」で艦長を歴任。北清事変での功績で勳三等に叙されている。 1903年（明治36年）7月には日本海軍が保有する6隻の戦艦の一つ、｢敷島｣の艦長に補され日露戦争を迎える。
1873年（明治6年）7月にイギリス海軍からダグラス少佐ら34名の教育団が着任し、海軍兵学寮教育の改革が始まった。それまでの兵学寮教育は幕末以来のオランダ海軍の影響が強かったが、ダグラスは自国流海軍教育を開始し、精神教育とともに、乗艦実習などの実地経験を重視した教育を推進した。ダグラスは山本権兵衛らの反発を受けたこともあったが、「五分前の精神」、体罰など日本海軍の特徴として挙げられる事柄を導入。このダグラス教育団が海軍兵学校の基礎をつくったのである。寺垣が入寮したのはこの年の10月であった。ダグラスらのほか 近藤真琴、伊藤雋吉、新井有貫、三浦功などに指導を受け、1878年（明治11年）1月、斎藤實ら18名と「乾行」乗組みを命じられた。さらに｢金剛｣、｢筑波｣乗組みでの実地訓練を経て、翌年8月、海軍少尉補となる。寺垣は海兵6期であり、同期生には海軍の三秀才といわれた斎藤、山内万寿治、坂本俊篤がおり、機関科のコレスに山本安次郎がいる。
寺垣は加賀藩士で馬廻り役を務める寺垣家の長男として生まれた。寺垣の長男孝三は海軍大佐（海兵36期）、次男敬三は太平洋戦争で戦死した海軍少将 （海兵40期）である。長女は児玉孝顕（内務官僚・大阪市助役）に嫁ぎ、次女は田村丕顕（海兵27期相当）に嫁いだ。また出羽重遠（海兵5期）の長男（海兵34期）の娘を養女としている。
小学1年生で野球を始める。千葉市立朝日ヶ丘小学校時代は「千葉市リトル」で、千葉市立朝日ヶ丘中学校時代は「千葉北シニア」でプレーする。ジェフユナイテッド千葉のゼネラルマネージャーを務める高橋悠太は中学時代の先輩で、高橋の弟でMIOびわこ滋賀などに所属した高橋直也とは中学時代の同級生である。常総学院高等学校へ進学後は、2001年の第73回選抜高等学校野球大会で優勝、全試合とも「7番・一塁手」で出場した。準決勝では野間口貴彦（関西創価高等学校）から決勝打放っている。同年夏の第83回全国高等学校野球選手権大会では2回戦で4番・一塁手で出場し、徐々に頭角を現す。2002年の第84回全国高等学校野球選手権大会3回戦では森岡良介・筧裕次郎を擁する明徳義塾中学校・高等学校と対戦し、6対7で惜敗したものの、3番（明徳戦では4番）・三塁手で先発出場を果たした。高校通算27本塁打。2003年に青山学院大学経営学部へ進学すると、当初は高校時代の強打が影を潜めていたが、3年春から4番打者に定着すると、春季・秋季東都大学野球リーグで連続優勝を果たす。チームは勢いそのままに全日本大学野球選手権大会でも優勝を果たし、明治神宮野球大会では2回戦まで進んだ。その活躍が認められ、第34回日米大学野球選手権大会日本代表メンバーに選出されるほどの実力を持つ。4年次にも春季東都大学野球リーグで優勝し、全日本大学野球選手権大会で準優勝を果たすなど、知名度も上がっていく。日本代表入りはこれ以降も続き、第3回世界大学野球選手権大会と第35回日米大学野球選手権大会の日本代表メンバーに選ばれるなど、東都大学リーグでも横川の名前は知れ渡っていき、「左のスラッガー」としてプロから注目される。2006年の大学生・社会人ドラフトで東北楽天ゴールデンイーグルスから4巡目指名を受けて入団。同年のドラフトでは横川のほか、大崎雄太朗（埼玉西武ライオンズ）、高市俊（東京ヤクルトスワローズ）、円谷英俊（読売ジャイアンツ）が指名された。青山学院大学硬式野球部から同時に4名が指名されたのは、1996年に井口資仁・澤崎俊和・清水将海・倉野信次が指名されて以来10年ぶり2回目。