次いで、日本橋塩魚鰹節問屋の「籾山家」に入籍、籾山氏の女婿となった。この頃、籾山庭後と名乗るようになる。明治38年（1905年）高浜虚子から俳書堂を譲り受け、東京市築地本願寺前附近にて「籾山書店」を経営。内藤鳴雪や高浜虚子、河東碧梧桐の俳書にとどまらず「胡蝶本」の名で愛書家に珍重される森鴎外や夏目漱石、谷崎潤一郎、島崎藤村、萩原朔太郎、泉鏡花などの文芸出世作を次々と発表。西園寺公望の雨声会にも影響を与える大出版社となる。明治43年（1910年）春に『三田文学』の編纂人である永井荷風と初めて面会。三田文学の販売を任され、そして営利を度外視して三田文学を俗化から守ることを要請され、受諾した。荷風を知ると、大正5年（1916年）に荷風との2人雑誌『文明 (雑誌)』を創刊。井上啞々らも加わり、趣味的、高踏的な雑誌となるが、編集方針に関する意見が合わず、大正6年（1917年）末で休刊となる。その後、籾山は満を持して『俳諧雑誌』を創刊。東京丸の内三菱二十一号館内の俳書堂に編集部を置き、徳田秋聲によれば、尾崎紅葉を中心にした人々が作った社の名前であったという。俳句綜合誌の先駆的雑誌であり、内藤鳴雪、原月舟、前田普羅、飯田蛇笏、大場白水郎、久保田万太郎、永井荷風、松根東洋城が執筆、井上啞々が編集に当たった。句の心は東京下町風の懐古趣味的旧派を堅持し、格調の芷しい俳句しか作らず、「即興的な抒情詩、抒情的な印象詩」というまったく特殊な存在であった。雪中庵雀志門から出て12世・雪中庵を継いだ増田竜雨は、旧派に属しながら旧套になずむことを嫌い、『俳諧雑誌』系の俳人となった代表的な人物である。『俳諧雑誌』は当時、新傾向派の『ホトトギス』と双璧を成した。
東京府日本橋区呉服町にて、代々飛脚屋と両替屋を兼ねる吉村家の9代目・吉村甚兵衛の長男として生まれる。父の吉村甚兵衛が始めた陸運元會社は現在の日本通運の前身である。陸運元會社は東京日本橋佐内町の和泉屋邸内に股立され、江戸時代から続く旧来の飛脚業者の再編成を行い、その元締めをしていた。この陸運元會社がのちに内国通運會社となり、現在の日本通運株式会社となった。青年期より飛脚問屋兼両替「吉村家」を手伝い、10代目を襲名。漢籍を学び、家塾に遊学して和歌を詠み文を作った。15歳で布川照庵について俳諧を学ぶ。明治29年（1896年）2月に、慶應義塾大学に入学。明治34年（1901年）4月に理財科を卒業した。初め、寶晋齋・其角堂機一について旧派の俳諧を学び、以後高浜虚子、正岡子規と師を変えて、広く俳諧の世界に通じていた。
福岡県久留米市で生まれる。長崎県崎戸町、佐世保市で育つ。高等小学校中退後、独学で種々の検定試験に合格。戦争中は国家主義思想の影響を受けた早熟な少年であったが、戦後日本共産党に入党。大西巨人、谷川雁らを知る。1950年共産党の細胞活動の内情を描いた『書かれざる一章』を『新日本文学』に発表し、党指導部より批判される。いわゆる国際派に属していたため、所感派により党を除名される。1958年、戦争中の青年の姿を描いた『ガダルカナル戦詩集』を発表して、それまでの党活動を描いた作品から飛躍し作家としての地位を確立。その後、被爆者や被差別部落の問題を取り上げた『虚構のクレーン』や、太平洋戦争中の学徒兵らを描いた『死者の時』などを執筆。大岡昇平らと共に戦後文学の旗手として活動した。さまざまな社会的な主題を、フォークナーなどの影響を受けた多次元的、前衛的な手法で描いた作風で知られる。ロシア文学やフランス文学の影響下の多い戦後派作家の中で珍しくアメリカ現代文学の影響を受けた作家である。その他、旺盛な創作を続ける中で、1977年、「文学伝習所」第一期を佐世保にて開講、のち九州や北海道はじめ、山形、群馬、新潟、長野など各地で開講して後進の育成に力を注いだ。社会主義的・左翼的思想に親近感をもっていたが、共産党除名処分の体験から党派性を徹底して拒絶し、共産党除名後は生涯どこの政治党派に所属することもなく活動した。生前に記していた生い立ちや経歴の多くが虚構であったことから、幼少期のあだ名であった「嘘つきみっちゃん」と呼ばれることもある。戦後派作家の中では埴谷雄高、野間宏と特に親しかった。埴谷は生前の約束で井上の葬儀委員長を務めている。また瀬戸内寂聴と恋愛関係にあったことはよく知られている。NHK放送特集番組の中で、瀬戸内寂聴自身が告白したものによれば寂聴の出家仏門入りの動機は、井上との関係清算という動機によるものだったという。両者は関係清算後は、通常の友人関係を井上の死に至るまで継続した。自筆年譜では、旧満州旅順に生まれ、4歳の時に帰国。佐世保の崎戸炭鉱で働き、朝鮮人の独立を扇動したとして逮捕されたとしている。ただし、娘の井上荒野は、出身地や逮捕歴などの経歴は例えば「入ってもいない大学に入学した」などとは別の種の虚偽であり父は自分を小説化したのだと語っている。1992年に大腸癌で死去。享年66。晩年は癌と闘病しながら多作な創作活動を続けていた。長女は、児童文学翻訳家、直木賞作家として活動している井上荒野。父を描いた『ひどい感じ 父・井上光晴』や、両親と瀬戸内寂聴との三角関係を描いた小説『あちらにいる鬼』などがある。