1979年には裁判所に戻り、浦和地方裁判所の所長に就任した。その後は東京高等裁判所の部総括判事を経て、札幌高等裁判所長官や名古屋高等裁判所長官を歴任した。1986年、最高裁判所判事に任命される。最高裁の大法廷で関わった主要な裁判としては、「自衛官護国神社合祀事件」、「法廷メモ訴訟」などが挙げられる。自衛官の遺族と隊友会山口県支部連合会および自衛隊山口地方連絡部が争った「自衛官護国神社合祀事件」では最高裁判事の判断が分かれる合議割れとなり、香川は多数意見側に加わっていた。なお、判決は、自衛官の遺族の敗訴となった。ローレンス・レペタの国家賠償法に基づき損害賠償を求めた「法廷メモ訴訟」では、香川は多数意見側に加わっており、レペタの上告を棄却した。また「森林法共有林事件」の最高裁大法廷判決では共有林分割請求制限を規定した森林法第186条を違憲判決とする多数意見に対し、合憲とする反対意見を述べた。『サンケイ新聞』の意見広告を巡って日本共産党と産業経済新聞社が争った「サンケイ新聞事件」では、最高裁判所第二小法廷の裁判長を務め、全員一致で日本共産党の上告を棄却した。また、内申書を巡って保坂展人と東京都および千代田区が争った「麹町中学校内申書事件」では、第二小法廷の裁判長を務め、全員一致で保坂の上告を棄却した。また、「TBSビデオテープ押収事件」では第二小法廷の陪席裁判官を務め、判決では多数意見に加わり、東京放送の特別抗告を棄却した。
しかし、翌1950年には法務省に転官することになった。以来、法務省の民事局第一課や大臣官房秘書課の課長を経て、訟務部部長に就任した。さらには法務省の官房長や民事局局長などを歴任するなど、法務省の幹部職員として活躍した。
1921年、大阪府に生まれた。東京大学法学部で学び、1947年に卒業した。同年に司法試験に合格し、1949年に裁判官として任官された。
瑞牆山に関係する文学として、俳人の前田普羅（1884年 - 1954年）が1937年（昭和12年）1月17日に『東京日日新聞』紙上に発表した「甲斐の山々」の五句があり、その中に瑞牆山を詠んだ「茅枯れてみづがき山は蒼天に入る」の句がある。前田は山梨県を数多く訪問しており、1938年（昭和13年）に「甲斐の山々」を回顧した「一句の誕生」によれば1917年（大正6年）頃に山梨を訪れたときに、五句を着想したという。詩人の尾崎喜八（1892年 - 1974年）は1935年（昭和10年）に刊行された随筆集『山の絵本』に収録されている随筆「花崗岩の国のイマアジュ」において八ヶ岳や金峰山など北巨摩（北杜市域）の山岳について触れ、瑞牆山についても言及している。また、深田久弥（1903年 - 1971年）は、1964年（昭和39年）に刊行された『日本百名山』において瑞牆山を取り上げ、山名の考察を行っているほか「針葉樹の大森林からまるでニョキニョキと岩が生えているような」と表現した。鋸岩、大ヤスリ岩など、岩々に名前が付けられている。
「瑞牆」とは神社の周囲の垣根（玉垣）のことだが、山名の由来は山稜を三分割する「みつなぎ」の転訛説や、崖を意味する「がき」に由来する説などがある。江戸時代後期に成立した『甲斐国志』では、玉塁と呼ばれる金峰山に対し、瑞塁を呼び習わしたとする説が紹介されている。
カリフォルニア州のプレサー郡ロングバレーの母の実家で生まれる。父はイギリスから金鉱を探しに来ていて、母は地元の農家の娘であったが、1907年にボウルダーリッジに転居する。スミスは幼少時は体が弱く、読書を好み、11歳頃からアンデルセン童話集を手本に童話を書き始め、やがて『千夜一夜物語』やキップリングの影響で小説を書くようになる。その後ポーや英訳された『ルバイヤート』に触れて詩作に取り組み、カリフォルニア在住の詩人ジョージ・スターリングに特に感化を受けた。この時期、ラテン語を独学で習得し、またウェブスター辞書やブリタニカを通読するなどして、文体の訓練に励んだ。またウィリアム・トマス・ベックフォード『ヴァテック』を愛読していた。1910年に地元紙『オーバーン・ジャーナル』に詩が売れて、同年から1912年にかけて、東洋を舞台にした4編の短編小説が『オウヴァーランド・マンスリー』『ブラック・キャット』各誌に掲載された。これにより招待された婦人クラブを通じてスターリングに紹介され、詩作について助言を得るようになる。さらにバウトウェル・ダンラップによりサンフランシスコ、次いで東海岸にも紹介される。この1912年に最初の詩集『星を踏み歩くもの (Star-Treader and Other Poems)』を出版。その後は両親の農作業を手伝いながら詩作を続け、1918年頃から絵画も描き始める。1918年に第二詩集『頌と十四行誌 (Odes and Sonnets)』、1922年、25年に第三、第四詩集を出版。1922年に、スミスの詩を読んだハワード・フィリップス・ラヴクラフトから手紙が届き、文通が始まり、1923年にラヴクラフトの「潜み住む恐怖」が連載されたときには挿絵を提供した。1923年に創刊された『ウィアード・テイルズ』誌の7・8月合併号にスミスの詩「邪悪の園」が掲載され、ラヴクラフトとともに同誌の人気作家となっていく。1923年4月から26年1月まで『オーバーン・ジャーナル』誌でコラムを連載して、収入も安定した。ラブクラフトの薦めで幻想小説を書くようになり、1925年に最初の作品「ヨンドの忌むべきものども」を執筆。1929年以降に精力的に幻想小説を執筆し始め、1935年までに『ウィアード・テイルズ』を中心に、『アメージング・デテクティヴ・テイルズ』『ワンダー・ストーリーズ』などのパルプ・マガジンに約80編の作品を発表。後年にはラヴクラフト、ロバート・E・ハワードと並んで、『ウィアード・テイルズ』黄金時代を築いた御三家と称される。1937年にラヴクラフトと父が相次いで亡くなった頃を機に小説の執筆は減り、代わって1934年頃始めた彫刻に熱を入れ始め、約200の作品を作った。彫刻作品には、ハイパーボリアやゾティークの世界と結びついたものもあったが、絵画や彫刻は商業的に成功することはなかった。1942年にはオーガスト・ダーレスの手によって最初の短編集『時空の外に (Out of Space and Time)』をアーカム・ハウス社から出版。同社からは短編集4冊と詩集2冊が出版された。1954年に結婚してパシフィック・グローブに移り、庭師として働きながら絵や彫刻にいそしみ、詩や小説の執筆は無くなる。1961年に死去。遺された文書はブラウン大学のジョン・ヘイ図書館に寄贈された。