11月23日、サンフィッシュは最初の哨戒で日本近海に向かった。北海道と本州の沖合で哨戒した後南下し、12月12日には北緯34度34分 東経137度33分の地点で「衣笠型重巡洋艦」に対して魚雷を2本発射したが、命中しなかった。12月16日から17日の夜にかけて伊勢湾口に機雷を敷設し、翌12月18日には北緯34度06分 東経136度55分の大王崎近海で輸送船共和丸を発見し、魚雷を3本発射したが命中しなかった。1943年1月14日、サンフィッシュは53日間の行動を終えてミッドウェー島に帰投した。2月4日、サンフィッシュは2回目の哨戒で東シナ海に向かった。3月7日夜、サンフィッシュは北緯26度55分 東経122度25分の地点で貨客船丹後丸（日本郵船、6,893トン）に対して浮上攻撃により魚雷を計7本発射し、合計3本の魚雷が命中した音が聞こえ、サンフィッシュは爆発を確認した。しかし、丹後丸は魚雷を回避しており、反撃して退避していった。サンフィッシュは、その後の2日間対潜攻撃を受け、海中でじっとしてる他はなかったが、幸いにも重大な損害からは逃れることができた。3月9日夕刻には、北緯27度05分 東経121度16分の地点で高雄に向かっていた海軍徴傭船浅間丸（日本郵船、16,947トン）を発見し、魚雷を4本発射して3つの爆発を確認した。ところが、この攻撃もまた魚雷は命中しておらず、攻撃後は護衛の駆逐艦峯風の制圧を受けた。3月13日夜23時過ぎ、サンフィッシュは北緯29度08分 東経129度10分の種子島近海で輸送船興生丸（岡田商船、3,262トン）を発見し、魚雷を3本発射。1本が命中し、興生丸は被害甚大のため宝島に座礁して果てた。4月3日、サンフィッシュは58日間の行動を終えて真珠湾に帰投した。
金光等平の四男として生まれる。兄に金光與一郎、谷川幾三郎がいる。元治元年（1864年）7月18日、新流大砲隊仰付になり、安東四郎大夫（800石・後の大目付）の組下となる。同年11月7日、前髪を落とす（元服）。このことから生年は嘉永元年（1848年）頃と考えられる。同年中、長州征伐のため出陣し慶応元年（1865年）2月2日凱陣。慶応2年（1866年）9月15日より、湊村台場（岡山市湊）に配属。慶応3年（1867年）2月28日、御後園（後楽園）裏にて槍術の御前試合に出て手拭を賜った。慶応3年（1867年）12月、山田市郎左衛門（判形格）が山口（山口県山口市）にて木戸準一郎から「朝幕間で戦が起これば備前藩を天皇の行在所にしたいので宜しく頼む」と要請があったため、近藤定常の提案で閑谷学校を行在所にし、併せて天皇親衛隊200名を募集することとなったので繁次は参加を決断した。親衛隊は勇戦隊・義戦隊の2隊編成となり、繁次は勇戦隊所属となった。同年12月27日太政官より下命された西宮警備（兵庫県西宮市）に赴くよう命ぜられ、翌明治元年（1868年）1月4日に領内の福濱村（岡山市福浜）から船に乗船し出陣（西宮着陣は1月6日）。明治元年（1868年）2月6日、太政官より岡山藩が江戸東征軍（新政府軍）先鋒を命じられたため、勇戦隊と耕戦隊（農兵）は森下立太郎（耕戦隊長）指揮下となり2月9日江戸への出陣に加わる。同年4月11日、江戸城明け渡しのため江戸城西の丸に入り接収役に加わる。明治元年（1868年）閏4月3日、江原鋳三郎率いる撒兵隊（さっぺいたい）の分隊を中心とした旧幕府軍との戦い（八幡戦争）に岡山藩先鋒援兵のため五井・姉ヶ崎（千葉県市原市）方面の戦闘に参加。同月7日、姉ヶ崎陣屋（鶴牧陣屋）を差押える。同月11日、江戸へ引揚。明治元年（1868年）5月15日、彰義隊討伐（上野戦争）に加わる。同月17日より市中巡進（見廻り）する。明治元年（1868年）6月6日、新政府より命じられた奥州出兵（戊辰戦争・磐城の戦い・二本松の戦い）のため第一陣の一員となる。同月10日出陣、海路途中銚子湊（千葉県銚子市）で滞陣して同月21日平潟（茨城県北茨城市）に上陸。6月22日より関田（福島県いわき市）で大江文左衛門率いる仙台藩兵並びに平藩兵と戦う。同月24日、植田（福島県いわき市）では敵の奇襲が来る前に軍と共に関田に引揚。同月27日、薩摩藩兵・大村藩兵とともに海岸沿いの道を進軍し泉藩（福島県いわき市）攻略に加わる。同月29日、湯長谷（福島県いわき市）に着陣。同年7月13日、磐城平城攻城戦に加わり翌日落城のため城に入城した。同年7月25日、三春（福島県三春町）出兵に加わる。同月27日三春藩降伏のため三春に滞陣。同月28日、小浜（福島県二本松市）を出て翌29日に阿武隈川を渡河して二本松城攻略に加わった。その後は会津戦争には加わらず、明治元年（1868年）8月5日には岡山藩兵の一部三春への移兵の人員となる。同月8日、守山（福島県郡山市）へ出兵・磐城平（福島県いわき市）に廻兵し翌9日三春へ引揚し水門口警備をするなど番兵として勤めをしている。明治元年（1868年）10月2日、白石城下へ移動。同月12日、岡山藩兵東京へ引揚となり総裁・伊庭内記（番頭）たちに随う。同月28日、岡山藩東京屋敷に凱旋し池田章政より酒肴を賜る。同年11月24日、京都へ出立し12月11日到着する。同年12月12日、御所酒肴を仰付あり翌13日岡山へ出立。同月21日岡山へ帰国、御後園（後楽園）で酒肴仰付あり。明治2年（1869年）2月13日、第八大隊小隊長識補に任じられる。兄・幾三郎が箱館戦争で戦死したため藩命により明治2年（1869年）7月9日、養子となった。明治3年（1870年）2月28日、兄・幾三郎生前の功績により一家相立（食禄80石・初代）となったため、幾三郎家2代当主となった。