聚楽第は関白になった豊臣秀吉の政庁兼邸宅として1586年（天正14年）2月に着工され、翌1587年（天正15年）9月に完成したために、妙顕寺城より移った。九州征伐を終えた秀吉が大坂より移り、ここで政務をみた。1588年5月9日（旧暦天正16年4月14日）には後陽成天皇の行幸を迎えてこれを饗応している。また天正少年使節や徳川家康の謁見もここで行われた。1591年（天正19年）12月に秀吉が豊臣氏氏長者・家督および関白職を甥（姉・日秀の子）豊臣秀次に譲ったあと聚楽第は秀次の邸宅となった。翌、1592年（天正20年）1月には再度、後陽成天皇の行幸を迎えている。短期間に同じ場所に2度も行幸が行われたのは稀有なことである。文禄3年ごろには北の丸が秀次により増築された。しかし、1595年（文禄4年）7月に秀次は、秀吉によって高野山に追放させられ、切腹した。そして、秀吉は、秀次を謀反人として印象付けるため、翌8月から聚楽第を徹底的に破却した。のち、御所に参内するための利便上、新たに豊臣家の京屋敷を建設する必要に迫られ、現在の仙洞御所の地に「京都新城（後に北政所が居住）」が設けられた。
按摩師の男の呪縛からは、終戦後もなかなか逃れることができなかった。はじめは高瀬温泉に呼び戻そうとする男を拒んでいたのだが、男が瞽女の修業をさせて欲しいと長岡に連れてきたキミという名の少女に懐かれてしまう。少女は晴眼者であった。男に虐待され酷使されてばかりの上、どこかへ売り飛ばそうと画策されていたキミに同情したハルは、男に頼んでキミを弟子にした。しかしそれは、ハルが過酷な条件で男に搾取されることと引き換えであった。三味線の皮が破れても直すことができないほど困窮し、それでも逃げ出そうとしないハルには按摩師の妾だという噂さえ立った。山田シズ子はこの時のハルに、「ほんになんでも、人が西むけと言えば西、東むけと言えば東……」と歯がゆさを感じたという。ハル自身は「前の世で私が悪いことをしてきたからこういう目にあうんだし、目の見えないのが一番悪いんだと諦めていた」、「キミを置いて出ようと思ったが、キミは私に出ないでくれといって泣くし、それが気の毒で私はキミを置いて出られなかった」、「私さえ苦しんでいればキミも働いていられると思って勤めてきた」と、この時期を振り返っている。7年間搾取された末、男が病に倒れたのを機に、按摩師の親類の瞽女とキミの3人で高瀬温泉を離れた。ハルは加治川村にある知人（佐藤ヨシ）宅に身を寄せた後、1960年（昭和35年）に笹神村の出湯温泉に移った。同年、ハルはキミを養女にしている。按摩師の男とは佐藤ヨシの家に滞在中、正式に縁を切ることに成功した。出湯温泉に移った頃、テレビの普及により瞽女の稼ぎ口は減っていた。やがて按摩師の親類の瞽女が死去すると主に按摩をして暮らすようになり、ハルの経歴を知った旅館から唄を披露してくれと頼まれることもあった。ハルは次第に異性関係が奔放になっていくキミを立ち直らせようと婿をとることにしたが、結婚後も男性関係は乱れたままであった。2人の間には3人の子が生まれた。婿は真面目な人物であったが、ハルの稼ぎを当てにする面があり、その上ハルにかかる経費ばかり削ろうとした。生まれた子供たちには知的障害がみられたが、婿に「そんな子供が生まれるのは、瞽女がいるからだ」と吹き込む者もいた。それを真に受けた婿はハルに辛くあたるようになり、ついにはキミまで同調するようになった。ハルが「みんなが自分を邪魔にしているのではないか、いままでのように稼ぐだけ稼がされているのではないか」と疑念を抱く中、決定的な出来事に見舞われる。キミの子、つまりハルの孫3人とともに食事中、孫の一人が「父ちゃん自分の茶碗に肉入れておばあちゃんはつゆばっかり」と発言した。疑念は現実となって現れたのである。孫はさらに、「目がみえなくて火もいじれない人は、働けるだけ働かして、養老院に入れればいい……って父ちゃんたちが言ってたよ」とハルに告げ口した。ハルは、結婚してキミは変わってしまったと語る。ハルは「婿と別れるように言えば言えなくはないが、2人の間には3人の子がいる。孫たちに父親がいなくなることは可哀そうである」と考え、自分が家を出ることを決意した。知人や地域の民生委員の勧めもあって、新発田市の養護老人ホーム「あやめ寮」に入所することにした。老人ホーム入所後、キミたちは何度かハルのもとを訪れているが、いずれも金品の無心のためであった。1973年（昭和48年）5月28日、あやめ寮入所の前日、巡業に出る時と同じ衣装を身に付け、知人宅を訪れると、ハルは「これからは、お国の世話で老人ホームで生活をすることとなりました。だから三味線を弾いて、人さまからお金をいただくようなことをいたしません」と言い、その知人に三味線を預けた。ハルはこの日を限りに瞽女の芸と決別するつもりであった。その後、毎日参拝していた寺（華報寺）を訪れると、テレビ局の取材班がハルを待ち受けていた。ハルは「ハルさんの最後の瞽女唄を多くの人々が聞きたがっているだろう。あなたが今ここで演奏すれば、またとないお別れの瞽女唄になるだろうし、それがテレビを通して多くの人々に紹介されれば、それを見た人たちは明日のハルさんの旅立ちを祝ってくれるだろう」という知人の勧めに従い、再び三味線を手にし、寺の本堂正面の階段に腰掛け、『葛の葉子別れ』を披露した。ハルを知る者によると、この時ハルからはそれまで時折見せていた暗い表情が消え、「ほっとしたようで、今までになく安らかな表情」をしていたという。ハルには内心、最後にもう一度唄っておきたいという気持ちがあった。この日のハルの廃業をもって、長岡の系統に属する瞽女の活動は完全に途絶えたとされる。