暁翠は父の画風を受け継ぎながら美人画や能画を能くしたが、その作品は少ない。浮世絵研究者飯島虚心は「翁（暁斎）の筆と比べて殆ど異なる所なきが如し」「最も彩色に長ぜり」と評している（飯島虚心『河鍋暁斎翁伝』）。作品としては「鐘馗」、「七福神辰年図」などが挙げられる。「七福神辰年図」は3枚続の絵で、大黒天が恵比寿、寿老人、おかめの前で辰の絵を描いている場面を描いている。また肉筆で「百福図」と題して多くのお多福の絵を描いている。「地獄太夫図」は和泉国堺の高須町の遊廓にいた遊女の地獄太夫を描いており、この地を訪れた一休和尚が「聞きしより見ておそろしき地獄哉」と詠みかけると、「活来る人もおちざらめやも」と付け句した才女であったといわれる。諸派を学んだ暁翠であるが、弟子の小熊忠一から何派を名乗ればいいかと尋ねられると、即座に「狩野派です」と答えたという。門人に佐藤暁閑、綾部暁月、小熊忠一がいる。
1823年、健康悪化の結果として舞台から引退した。道化として長年肉体を酷使した結果として関節に負荷を与えてきており、しばしば息切れさせる呼吸器疾患に罹っていた。「タイムズ」紙は1813年に既に次のように記していた。グリマルディは想像できる全ての道化の中で最も根気強いものであり、人の頭や肌がそのやろうとしている荒い酷使に耐えられるとは全くの驚きである。そこそこの高さから本当に転落し、数え切れないほど蹴られ、ひっきりなしに殴られるのがいつものことであり、翌日の夜の試練のために毎夜肉体を快復させることになった公式には引退したが、1824年までドルーリーレーンから以前の給与の半分は受け取っていた。その支給が止まってから間もなく、多くの発想がまずい事業に失敗し、また地方の稼ぎの管理を人に任せて欺かれたために、貧窮に陥った。体に障害を抱えているにも拘わらず、クリスマス・パントマイムではカメオ出演を提案した。ボローニャと共に短期間サドラーズ・ウェルズに登場し、パントマイム役者のウィリアム・ペインに演技指導した。ペインは後にペイン・ブラザーズの父になった。リチャード・ブリンズリー・シェリダンの名前元となったリチャード・ブリンズリー・ピークのために働き始めた。ピークはイングリッシュ・オペラハウスの劇作家だった。グリマルディと息子のJSを『サルの島』の配役に雇った。しかしグリマルディの健康が更に悪化し、開演前に諦めざるを得なくなり、出演シーンはカットされた。その経歴の早すぎた終わりと、金の心配、さらに息子の将来の不確かさもあって、次第にふさぎ込むようになった。その状態を軽くするためにしばしばジョークの種にした。「私は夜に貴方を笑わせるが、日中はいつも微笑んでいる（Grim-all-day）」というようなものだった。1828年、グリマルディのために2回の「さよなら」慈善公演が行われた。最初のサドラーズ・ウェルズ公演では、トマス・ディブディンのメロドラマ『シックス達; あるいは悪魔』で、ドイツ兵で飲んだくれ水兵のホックを演じた。観衆は2,000人が集まった。長時間立って居ることもできなかったが、JSとデュエットを歌い、最後は『マザー・グース』の場面で締めた。最後のさよなら公演は1828年6月27日にドルーリーレーンで行われた。1828年から1836年、グリマルディは慈善公演に頼り、失われた収入を補っていた。1820年代初期に、グリマルディと息子の関係が捻れるようになった。父の演技を真似して経歴を積んできたJSは、道化として好意的な評価を受けたが、その成功も常に父の影に隠れた形になっていた。次第に父に不満を持ち、公衆の面前では父との交流を避けるようになった。アルコール依存となり、そのうち頼りにならなくなっていった。1823年、両親と疎遠になり、その後の4年間では偶にしか会うこともなくなり、両親を避ける方向に進み始めた。手紙を通じてのみ対話があり、グリマルディはしばしば金の無心の手紙を送っていた。JSは「私は今困難な状況にあるが、私が1シリングを持って居れば、貴方に半分を渡そう」と書いたことがあった。しかし、父に金を送った記録は残っていない。JSは1827年にやっと家に戻った。グリマルディがある夜に目覚めると息子が通りに立っており、熱があり、やせこけ、みすぼらしい態をしていた。JSは、何度かクリスマス・パントマイムや慈善興行に出演した後で失業し、暫くは債務者刑務所に収監された。アルコール依存症も進んでいた。1832年、グリマルディと妻および息子はウーリッジに移転したが、JSは家に売春婦を連れ帰ったり、飲み仲間と家の中で喧嘩したりして、両親の世話を悪用することが多かった。その年後半には家を出て行き、1832年12月11日に寄宿先で死んだ。30歳だった。グリマルディはほとんど歩行が不自由になり、メアリーはJSが死ぬ前に発作を起こす日もあり、二人は心中の約束をした。一緒に毒をあおったが、その結果は胃痛が続いただけだった。その失敗に当惑して心中の考えを捨てた。1834年、メアリーが亡くなり、グリマルディはイズリントンのサザンプトン通り33に引っ越し、そこで最後の数年間を独りで、鬱ぎ込んだアルコール依存者として過ごすことになった。1837年5月31日、グリマルディは胸を締め付けられる痛みを訴えたが、土地の宿屋である「マーキス・コーンウォリス」に入れるだけ快復し、そこで仲間のパトロンを歓待して愉快な夜を過ごし、飲み過ぎることになった。その夜家に戻り、翌朝家政婦にベッドで死んでいるのを発見された。検死官は「神の訪問によって死んだ」と記録した。1837年6月5日、グリマルディはペントンビルのセントジェイムズ教会墓地に埋葬された。その墓所と周辺は、後にジョセフ・グリマルディ公園と名付けられた。