経済的成功により、シンガーは5番街に邸宅を購入できるようになり、そこに2番目の家族と移り住んだ。1860年、キャサリンがスティーブン・ケントと不倫したことを理由に離婚。シンガーはメアリー・アンと同居し続けていたが、5番街でシンガーが隣にメアリー・マクゴニガルを乗せて自動車を走らせているのを発見した。メアリー・アンはこの2人の不倫を以前から疑っていて、実際メアリー・マクゴニガルはシンガーの子を5人もうけていた。シンガーはその妻子にはマシューズという姓を名乗らせていた。シンガー夫人を名乗っていたメアリー・アンは夫を重婚で逮捕させた。逮捕され名誉を傷つけられたシンガーは、1862年メアリー・マクゴニガルを伴ってロンドンに逃げた。この余波として、シンガーにはもう1組の妻子があることがわかった。その妻の名はメアリー・イーストウッド・ウォルターズ、娘はアリス・イーストウッドで、マンハッタンに住み「メリット」という姓を名乗っていた。1860年時点で、アイザック・シンガーは4人の女性に18人の子を産ませていた（うち16人がその時点で存命）。アイザックがロンドンにいる間、メアリー・アンは正式には結婚していなかったもののコモン・ローの下で事実上結婚が成立しているとして（キャサリンとの離婚が成立してから7か月間同居していたことを根拠とした）、シンガーの遺産の請求権を確保する作業を始めていた。最終的に和解はなされたが、離婚は認められなかった。しかし、メアリー・アンは自由に結婚できることを認めさせ、実際にジョン・E・フォスターという男と結婚した。アイザックはその頃、1860年にパリに滞在していたころに知り合っていたフランス人女性イザベラ・ユージェニー・ボワイエと再会していた。彼女は夫と別れ、1863年6月13日イザベラ・ユージェニー・サマーヴィルの名でアイザックと結婚した。このとき彼女は妊娠していた。
1856年、互いに相手を特許権侵害で訴えあっていた5社（Grover, Baker, Singer, Wheeler, Wilson）がオールバニに一堂に会し、それら訴訟をどうするかを話し合った。GrooverとBakerの社長で法律家でもあるオーランド・B・ポッターは、訴えあうことをやめて特許をプールしようと提案した。これが世界初のパテントプールであり、特許権に関する法的な争いを避け、複雑な機械を製造可能にする方法となった。彼らはミシン連合を作ることに合意したが、エリアス・ハウはこの連合の持つ特許よりも優位にある特許を保持しており、このままではハウにロイヤリティを支払わなければならないという問題が残っていた。そこで条件を調整し、ハウもこの連合に参加することになった。ミシンの大量生産が始まり、I. M. Singer & Co は1856年には2,564台を製造、1860年にはニューヨーク市内に新たな工場を構え13,000台を製造した。ミシンは主に仕立て屋が使う産業機械として販売されていたが、家庭用の小型ミシンも販売されるようになっていった。シンガーはヨーロッパにも進出し、グラスゴー近郊の Clydebank にも工場を建設した。アメリカを本拠地とする多国籍企業となり、他にパリやリオデジャネイロにも支社を設けた。
シンガーはミシンを発明したわけではないし、そのように主張したこともない。1850年にシンガーがミシンを初めて作るまでに、ミシンは4回「発明」されている。ウォルター・ハント以前のミシンは全てチェイン・ステッチ（単環縫い）であり、ほどけやすいという欠点があった。ハントのミシンはロック・ステッチ（本縫い）ができ、その後のミシンはフェルプスの工場でシンガーが改良したレローとプロジェットのミシンも含めて全て本縫いを基本としている。エリアス・ハウは独自にミシンを開発し、1846年9月10日に特許を取得していた。ハウとシンガーの間で、どちらの特許が優位かという争いが起こった。シンガーはハウの改良が既存技術の再発明だと気づき、ハントの古いミシンでもシャトルを使った本縫いが可能であることを発見した。ハントは1853年になって、約7年前に発効しているハウの特許より優先であることを示すために特許を申請した。ハントとハウの争いは1854年に法廷に持ち込まれ、ハウが勝利した。ハウはその後、シンガーのミシン販売を差し止めるための訴訟を起こし、この争いは長引くことになった。
本曲は同日に発売された、同名アルバムからのシングルカットである。"任侠の世界を描いたせりふ入りの唄"というコンセプトのもとに作られた。 この当時はカラオケが流行り始めており、せりふ入りの歌は人気があり、ひばりの男歌はファンの間でも人気が高かった。だが、ひばりが「お兄ちゃん」と呼び慕っていた鶴田浩二の1971年のヒット曲・傷だらけの人生に曲のパターンが似ていたことから、ひばり本人が歌う事に難色を示した。当時のコロムビアの制作部のひばり担当であった境弘邦の説得にも、亡き母・喜美枝に変わってプロデューサーとして姉を支えていた弟・哲也の言葉にも耳を貸そうとしなかった。そんなおり、哲也が体調を崩して入院した。境は哲也に病床からも説得を続けてもらうよう頼んだが、哲也の体調面の事もあり、ひばりに直接レコーディングだけでもして欲しいと直談判をした。さすがのひばりも根負けし、レコーディングをすることを承諾した。 できばえは境のイメージ通りに出来上がっており、最終的にはひばりもシングル化を許可した。その後、同年10月23日放送のフジテレビ系列の人気歌謡番組・夜のヒットスタジオにて本曲を初披露した。境は入院中の哲也を訪ね、番組が放送されること、また感想を聞かせて欲しい旨を伝えた。ところが翌日の10月24日、哲也は心不全のため42歳の若さでこの世を去った。 病室にて番組を観ていた哲也は付き添いの人に「なかなか味があっていいね。あれはやってよかったよ。」と境に伝えるよう頼んでいたという。結果的に哲也のプロデュース作品としては、本曲が最後になってしまった。プロデューサーとして、またひばりプロダクションの社長として、本格的に活躍しようとしていた矢先の死であった。弟の死を聞いたひばりは半狂乱になり、亡骸におおいかぶさりながら号泣していたという。翌年には、本シングルの2曲に、新しく吹き込んだカバー曲8曲を含めたアルバム「残侠子守唄～'84有線ヒット」も発売された。