1930年代頃から活動写真は無声時代から発声トーキーの時代に入り、それまでセリフの必要のなかった俳優たちは、セリフを喋らなくてはならなくなり、業界は大恐慌をきたした。悪声であったり、訛りの強い者たちは人気を落とし、また業界から去らなくてはならなくなった。現代では訛りがあろうと声質が悪かろうと、それはその人の持ち味だということになっているが、過渡期においてはそうはいかなかった。こうした訛りや悪声がやかましく言われなくなったのは、舞台の名優だった井上が出るようになってからである。井上は特徴のある訛りを舞台でも押し通した人で、映画監督の稲垣浩は井上について、「もしこの人が出なかったら阪妻、大河内はトーキーとともに消えていったかもわからない」と述べている。
1951年（昭和26年）6月、横浜市港北区日吉本町2丁目の井上の旧居（道場）跡に、井上を敬慕する全国の有志の醵金で井上正夫之碑（いのうえまさおのひ）が建立された。揮毫は高橋誠一郎によるもので、碑文には「嘗てこの地に井上正夫演劇道場ありき」と記されている。。始めは数平方メートルの碑石のある用地であったが、現在は住宅の壁面に収まる形で設置されている。1953年（昭和28年）5月には松山市駅前に胸像が建てられた。1956年（昭和31年）2月に新橋演舞場で七回忌追慕新派大合同公演、1962年（昭和37年）2月に同劇場で十三回忌追慕公演が行われた。1966年（昭和41年）2月、地元の砥部町に墓碑が建てられ、十七回忌追悼式が行われた。この模様はNHKで全国放送され、東京のスタジオからは市川翠扇、北条秀司、伊志井寛らが参加した。現在、砥部町拾町の真砂家敷地内に「井上正夫記念館」がある。
1945年（昭和20年）、戦災者慰問のため地元の愛媛県を巡演。1946年（昭和21年）、井上演劇道場を解散し、村山知義、薄田研二らの第2次新協劇団に入団。1948年（昭和23年）からはまた新派の舞台に立ち、水谷八重子と『金色夜叉』で共演した。また、『わが生涯のかがやける日』、『鐘の鳴る丘』といった映画にも出演した。1949年（昭和24年）、日本芸術院会員に選出される。1950年（昭和25年）1月、新橋演舞場の新派大合同公演『恋文』で二宮新吾を演じたのが最後の舞台となる。同年2月7日午前8時、静養先の湯河原向島園で心臓麻痺のため死去。69歳没。2月15日に築地本願寺で盛大な文化葬が営まれ、没後に勲四等を贈られた。
城下士・川崎主右衛門基明（兼高）の息子として生まれ、天明8年（1788年）に城下士・調所清悦の養子となる。茶道職として出仕し、寛政10年（1798年）に江戸へ出府し、隠居していた前藩主・島津重豪にその才能を見出されて登用される。ちなみに養父・清悦は同年11月27日に江戸で死去し、この年に家督相続したものと思われる。後に藩主・島津斉興に仕え、使番・町奉行などを歴任し、小林郷地頭や鹿屋郷地頭、佐多郷地頭を兼務する。藩が琉球や清と行っていた密貿易にも携わる。天保3年（1832年）には家老格に、天保9年（1838年）には家老に出世し、藩の財政・農政・軍制改革に取り組んだ。弘化3年7月27日には志布志郷地頭となり、死ぬまで兼職する。当時、薩摩藩は500万両の借金を抱えて財政破綻寸前となっていた。これに対して広郷は商人を脅迫して借金を無利子で250年の分割払いにし、さらに行政改革、農政改革、財政改革を行った。これにより天保11年（1840年）には薩摩藩の金蔵に200万両の蓄えが出来る程にまで財政が回復した。この改革の取組みとして、琉球を通じた清との密貿易、大島・徳之島などから取れる砂糖の生産において、大坂の砂糖問屋の関与の排除を図った専売制や、商品作物の開発などがあった。やがて、斉興の後継を巡る島津斉彬と島津久光による争いがお家騒動（後のお由羅騒動）に発展すると、広郷は斉興・久光派に与する。これは、聡明だがかつての重豪に似た蘭癖の斉彬が藩主になることで再び財政が悪化するのを懸念してのことであると言われている。斉彬は幕府老中・阿部正弘らと協力し、薩摩藩の密貿易（藩直轄地の坊津や琉球などを拠点としたご禁制品の中継貿易）に関する情報を幕府に流し、斉興、調所らの失脚を図る。嘉永元年（1848年）、調所が江戸に出仕した際、阿部に密貿易の件を糾問される。同年12月、薩摩藩上屋敷芝藩邸にて急死、享年73。死因は責任追及が斉興にまで及ぶのを防ごうとした服毒自殺とも言われる。死後、広郷の遺族は斉彬によって家禄と屋敷を召し上げられ、家格も下げられた。葬所は養父清悦と同じ江戸芝の泉谷山大円寺。法号は全機院殿敷績顕功大居士。現在の墓所は鹿児島市内の福昌寺跡。