中京高校時代は控え投手兼任外野手として1982年の第54回選抜、第64回全国選手権、1983年の第65回全国選手権に出場。主戦投手の野中徹博との2枚看板、Wエースと言われ、球威は野中が一番だが球速は紀藤が一番とも言われた。甲子園では3試合に野中をリリーフして登板。同期には鈴木俊雄もいた。その後1983年ドラフト会議で広島東洋カープから3位指名を受け入団。
妹は漫画家の志村みどり。弟は メガロパ海洋生物研究所 所長の荒俣幸男。親戚に日本カイトフォトグラフィー協会の会長の室岡克孝がいる。最初の妻は杉浦日向子。結婚当初は『美女と野獣』と比喩された。2人を知る知人は「男勝りな性格の杉浦と女性的な性格の荒俣はピッタリだ」と話したが、結婚生活は半年で破綻し、1年で離婚。二番目の妻は元JALの客室乗務員だった一般人。妻は美的感覚が変わっており、子供の頃からイボガエルを「かわいい」と思っており、客室乗務員時代は高学歴で顔も良いエリートの乗客にこっそり電話番号を渡されても「好みじゃない」と平気で破り捨てていたという。荒俣と初対面した際に一目惚れし、「この人しかいない！」と猛アタックし、結婚。バラエティ番組で特集された際に、本人は「夫の顔は気持ち悪い。仕事も気持ち悪い。でもそこが大好き。一生ついていく」と満面の笑みで語った。
子供の頃の夢は隠居。幼い頃から海洋生物に興味を持っていた。現在も熱帯魚や死滅回遊魚（海流に乗って水温の低い地域まで流れて来たために冬を越せないで死滅する海水魚）の飼育が趣味。ビブリオマニア（書籍収集マニア）である。本を買う為に消費者金融に頼った事もある（当時無職だった為融資は断られる）。今まで書籍に費やした費用は約5億円。現在でも毎日本を3 - 4冊読んでいる。また『帝都物語』のヒットによって得た印税１億数千万円のほとんどを古本収集に費やしたという桁外れのエピソードを持つ（本人曰く「古書店丸々一軒分の本を買うのが以前からの夢だった」とのこと）。なお、有名なパルプ・マガジンである「ウィアード・テイルズ」は、学生時代からずっとコレクションし続けているが、著書『パルプマガジン―娯楽小説の殿堂』(2001年)によると、その時点では、まだコンプリートにはなっていないとのこと。極度の甘党としても知られており、「若い頃には深鍋に15杯分の汁粉を作って食べていた」「時間を惜しむあまり普通の食事をせず、代わりに編集者の持参するお菓子が主食状態となっていた」「中華料理屋に行っても杏仁豆腐しか食べない」等の逸話を持つ。
渾名はマタンゴ。翻訳活動期に使用していた筆名に団 精二があるが、これはイギリスの幻想作家ダンセイニ卿の名を捩ったものである。また、メディア露出の割には名前をあまり正確に覚えられていない。
元々左利きであるが、現在は箸と筆記の際は右手を使っている。また、たびたび目をしばたたく癖もよく指摘されている。身長185cm。戸籍上の誕生日は7月17日である。IQは115。少年期から様々なジャンルに興味を持ち吸収、その多忙さから予習や復習などの学業に時間が割かれる事が煩わしくテスト一週間前に教科書を丸暗記して凌いだ 。
この地域には、白人が入植するはるか昔、パイユート族とシエラ・ミウォク族の人々が住んでいた。白人が入った時、ヨセミテ渓谷に住んでいたのはアワニチ族と呼ばれるネイティブ・アメリカンであった。アワニチ族は、パイユート族などいくつかの部族から出奔した者が集まった部族で、テナヤ酋長が率いていた。彼らは、この土地を「大きな口」という意味の「アワニー (Ahwahnee)」と呼び、自らをアワニーに住む人々という意味でアワニチ (Ah-wah-ne-chee) と呼んでいた。一方、彼らは、これと対立関係にある穏やかなミウォク族からは、恐れを込めて、「殺し屋たち」という意味のYohhe'metiと呼ばれていた。白人としてヨセミテ渓谷を発見したのは、アメリカ陸軍ジム・サヴェジ少佐が率いるマリポサ歩兵大隊であり、1851年のことであった。19世紀半ばのカリフォルニア・ゴールドラッシュによって、カリフォルニアに流入する白人の数が激増する中、同大隊は、マリポサ戦争と呼ばれる戦いの中、約200人のアワニチ族を追って、ヨセミテ渓谷の西端まで来た。この地を「ヨセミテ」と名付けたのは、サヴェジ少佐の部隊に従軍していた医師ラファイエット・バンネルであるとされる。バンネルは、アワニチの人々がこの土地を指していた「アワニー」という名前ではなく、この人々に対するミウォク族からの呼び名であり、よりアメリカ的であると感じられた「ヨセミテ (Yo-sem-i-ty)」という名称を採用することにした。前述のとおり、これは「殺し屋たち」という意味のミウォク語 (Yohhe'meti) であるが、バンネルやサヴェジ少佐は、発音が似ている、グリズリーベアを指すミウォク語 (ïhümat.i or ïsümat.i) と勘違いをしていた。なお、テナヤ酋長とアワニチの残党は、結局捕らえられ、その村は焼かれてしまった。そしてカリフォルニア州フレズノのインディアン居留地に移転させられた。一部は後にヨセミテ渓谷に戻ることを許されたが、1852年春に鉱夫8人を襲う事件を起こした。彼らは東方のモノ湖へ逃げ、近くのモノ族にかくまってもらった。しかし、モノ族から馬を盗んだことで探し出され、1853年モノのパイユート族に殺された。テナヤ酋長は殺され、生き残った者はモノ湖に連れ戻され、モノ湖のパイユート族に同化してしまった。アワニーのインディアン村は、現在、ヨセミテ渓谷ビジター・センター隣のヨセミテ博物館の裏手に再現されている。