エイブ・コールマン
ケルマーは1936年にJune Millerと出会った。マディソンスクエアガーデンでの試合でリングから投げられた後に彼女の膝に着地したのが出会いだったとケルマーは語っている。2人は3年後の1939年に結婚した。子供はおらず、ミラーは1987年に死去した。ケルマーはニューヨーク州フォレスト・ヒルズ(英語版)で暮らした。
プロレスを離れると、ポーカーや競馬を好んだ。
晩年、ケルマーは、主に車椅子を使用し、Meadow Parkリハビリテーション・ヘルスケアセンターで暮らした。2007年3月28日、クイーンズにある介護施設で、腎不全により死去した。