メリックの疾患は、骨格の変形と皮膚の異常な増殖からなっていた。皮膚は各所で乳頭状の腫瘍を示し、とくに頭部や胴部では皮下組織の増大によって弛んで垂れ下がっていた。右腕・両脚がひどく変形肥大して棍棒のようになっていたのに対し、左腕や性器は全く健全だった。上唇から突出した象の鼻状の皮膚組織が一時は20センチ近くに達し、このため会話や食事は終生不自由で、救貧院時代にいったん切除している。会話は困難で発音が聞き取りにくかったとされているが知能は正常で、12歳までは学校にも通っていて読み書きは堪能だった。また少年時代にひどく転んで腰を痛め、脊柱も湾曲しており、歩くときは杖が必要だった。原因については当時から、レックリングハウゼン病などとして知られる神経線維腫症1型、また俗には象皮病と結びつけて考えられてきたが、近年では特定の遺伝的疾患群をさすプロテウス症候群とする見方が有力である。
1897年1月30日にはジョゼフの生地レスターで父ジョゼフ・ロックリー・メリックが気管支炎のため死去。死亡届を提出したのは家族ではなく、臨終に立ち会った隣家のジョージ・プレストンであった。なお公的記録の不備により、叔父チャールズ・バーナバス・メリックに関してはレスターで1925年までは生存していた、としか分かっていない。身体に障害のあった妹のマリアン・イライザは1891年に脊髄炎により死去している。1923年にはフレデリック・トレヴェスが「エレファント・マンとその他の思い出」を出版し、12月7日に死去し、同年にはサム・トーも死去した。
トレヴェスは自らの後輩である研修医たちに、空き時間を利用してメリックを見舞うように命じていた。それに従っていた研修医のひとりウィルフレッド・グレンフェルは後に著した自伝「ラブラドルの一医師」のなかで、メリックが自分の容姿を神経質に気にしていたこと、また正常であった左手を誇りとしていたことを記し、レジナルド・タケットもまた、メリックが感じていた自分の左手への誇りや、美しいものや立派な衣服を好む彼の嗜好を語っている。一方でD.G.ハルステッドは回想録に、彼の顔は象よりもバクに似ていると思った、だが「バク男」では見世物小屋のキャッチフレーズとしては不適当だったろう、と冷ややかな観察を記し、メリックのもとをたずねた後、ほかの持ち場に戻るときにはほっとするのが常だった、とも告白している。
だがメリックは当面の治療を必要としない慢性患者であったため、この措置も同年末には限界に達し、同年12月4日には事態打開を図るべく、ロンドン病院理事長フランシス・カー・ゴム(Francis Carr Gomm)の投稿が「タイムズ」紙に掲載された。そのなかでカー・ゴムは、メリックはその容貌ゆえに就業は不可能であり、よって経済的自立も出来ない、一般の患者と一緒に療養させることも、他の患者に与える影響を考えればやはり避けるべきだが、難病患者のための公的な療養施設である王立施療院、国立養護ホームには共に受け入れを拒否された、そして本人は救貧院を非常に強く忌避している、といった事情を説明し、メリックを居住させるための個室の設置と、今後の彼の生活のための資金の寄付を求めた。12月11日には『ブリティッシュ・メディカル・ジャーナル』誌もカー・ゴムの投書について報じ、他の多くの一般紙、地方紙もこれに追随。これらの報道の結果膨大な量の手紙、多額の寄付金が寄せられ、年金の支給を申し出る篤志家も現れたが、一方では彼を盲人病院、灯台、刑務所といった場所に送れという投書もわずかながら寄せられたという。こうした社会の反応を踏まえ、理事会はメリックの収容延長を決定。ロンドン病院付主任技師であったウィリアム・テイラーの主導のもと、「ベッドステッド・スクエア」と呼ばれていた中庭に面した、大小二つの地下室がメリックの住居として改装された。大きい方の部屋は居間兼寝室として、ベッドやテーブル、数脚の椅子、小さな暖炉が備えられ、小さいほうのもう一部屋は浴室となった。そしてトレヴェスの方針により、どちらの部屋にも鏡は一つも設置されなかった。
ゴードン・フレッチャーは1974年10月24日付の『ローリング・ストーン』誌に批判的なレビューを寄稿し「彼の曲の奇異さに関しては『不可解』より『馬鹿げている』と言った方がいい」「彼のレコードは、特に何があるわけでもないことにイライラさせられる。楽曲に関しては、個々に見ても全体的に見ても、聴き流す以上の価値があるほど強力ではない。演奏面でも、"Baby's on Fire"におけるロバート・フリップの扇動的なギター・ワークを除けば、全く活気がない。実際、アルバム全体に関しても活気がなく、リスナーは戯言に5ドル払ったことを悔やむに違いない」と評した。一方、スティーヴ・ヒューイはオールミュージックにおいて満点の5点を付け「アヴァンギャルドでありながら極めて親しみやすい『ヒア・カム・ザ・ウォーム・ジェッツ』は、今の耳で聴いてもエキサイティングで、先進的で、すべての演奏において複雑さが表出した、濃密で細かい作品」と評している。また、ジョン・デヴィッドソンは2004年、PopMattersにおいて「このレコードにおける最大の奇跡は、素人の指揮者／作曲家が、実に多彩な雰囲気を持つキャッチーなポップ曲を多数作り上げてみせたことである」と評している。『ローリング・ストーン』誌が2003年に選出した「オールタイム・グレイテスト・アルバム500」では436位にランク・インし、後の改訂では432位となった。また、ピッチフォーク・メディアのスタッフが2004年に選出した「1970年代のベスト・アルバム100」では24位、『NME』誌が2013年に選出した「オールタイム・グレイテスト・アルバム500」では427位となった。