グロリア・ヘミングウェイ
グレゴリーは生涯に4回結婚し、パトリック、エドワード、ショーン、ブレンダン、ヴァネッサ、マリア、ジョン(英語版)、ロリアン(英語版)の8人の子供をもうけた。3番目の妻となった、アーネスト・ヘミングウェイの秘書だったヴァレリー・ダンビー=スミス(Valerie Danby-Smith)との結婚生活は、約20年に及んだ。4番目の妻のアイダ・メイ・ガリヤー(Ida Mae Galliher)とは結婚から3年後の1995年に離婚したが、その後も同棲を続け、1997年に再婚した。
1972年、グレゴリーの幼少期のテニスコーチであり当時の恋人だったマヤ・ロッドマン(英語版)は、著書『勇敢な雄牛の生と死』をグレゴリーに捧げた。
グレゴリーは、1970年代から1980年代にかけて、最初はニューヨークで、その後はモンタナ州のフォート・ベントンで医師として、後にはモンタナ州ジョーダンを拠点にガーフィールド郡の医療担当者として医療活動を行っていた。1988年、モンタナ州当局は、アルコール依存症を理由に医師免許の更新を拒否した。グレゴリーは長年にわたり、双極性障害、アルコール依存症、薬物乱用と戦ってきた。