ロバート・バーナム・ジュニア
Celestial Handbookがドーバー社から出版された翌年の1979年4月、バーナムは「固有運動の観測が終われば、その後彼を雇っておく余裕が天文台にはない」との通知を受けた。何ヶ月も前から予告されていたにもかかわらず、別の仕事の準備をすることもできず、ローウェルでの21年間にわたる彼の仕事はその年の12月に終わった。唯一提示された天文台の清掃員の職に就くこともできず、彼は退職した
バーナムは、ローウェルでの仕事を失った後、個人的にも仕事的にも、そして経済的にも立ち直れなかった。その後の数年間で、Celestial Handbookの売り上げが急速に伸びる一方で、バーナムの個人的な状況は着実に悪化していった。内気な性格が災いして、世間の目を気にすることがなくなり、ますます引きこもりがちになっていった。彼はドーヴァーと印税のことや、自分の本の新しい版や翻訳の作成についてよく争っていた。また、散発的にファンタジー小説を執筆してはいたが、完成しなかった。
バーナムには伴侶もおらず、状況が悪化するにつれて苦悩と憂鬱に襲われ、数少ない友人や家族からも孤立していった。一時期、アリゾナ州フェニックスに住んでいたが、1986年5月にフェニックスを離れ、出版社以外の誰にもその消息を知らせずに完全に姿を消したという。成功した本の著者であったにもかかわらず、晩年のバーナムはカリフォルニア州サンディエゴのバルボア公園で猫の絵を売りながら貧困と無名の生活を送った。Celestial Handbook のファンは、彼の個人的な事情を知らず、『アストロノミー』誌の編集者である、無関係な別のロバート・バーナムが著者であると勘違いしていたとされる。