元末から明清になると科挙による官僚登用が定着し、それとともに文人が急激に増え、一般化・世俗化して社会に広く進出した。文人とは名ばかりで、それに相応しい知識や見識を持たないものまでも文人と称するようになり、文人の形骸化・劣悪化は大いに批判された。本来的にあるはずの経世済民の義務ですら全く無視し、風雅の追求のみに傾倒する文人が多数現れている。明末清初の顧炎武は『日知録』でその放蕩三昧の文人を痛烈に批判している。それとは対照的に清代中期の趙翼はその著『二十二史箚記』の中で世の中が昇平であり経済的な繁栄があったことで世の人々が文化を求め風雅を愛好するようになり、文人を歓迎し世評を高めさせることに繋がったという見方をしている。この時代は文人画で優れた業績を遺した沈周・文徴明・唐寅・徐渭などが代表的な文人として挙げられる。
六朝時代になると九品官人法の導入などにより士人層が貴族化・世襲化しはじめ、文人はその特権的な立場から生活に窮することがなくなり、文芸（文学）に耽溺し、官僚としての職務を俗なる世事として疎んじる傾向が見られるようになる。この背景には儒教よりも老荘の道家思想が興起しており文人に大いに影響を与えていたとみることができる。この六朝時代に「文人」という呼び名が職業・身分という意味合いを離れ、士人の生き方のひとつの選択肢として、あるいはひとつの精神的な価値観として認識され、これ以降もその意味で使われるようになる。別の言い方をすると、文人（士人）は「経世済民すべきものである」という一面的な儒教的規範を少しだけ逸脱することができたのである。またこの時代の文人を特に貴族的文人と呼ぶことができるがその貴族としての意識が凡俗であることを見下す姿勢を産み出したともいえ、文人のひとつの属性である「反俗性」はこのころより培われ、「俗」を斥け「雅」を尊ぶ価値基準が生来される。このような価値基準は文芸のみならず、家格や人物評価にまで及ぶのである。六朝時代の代表的な文人に東晋の詩人 陶淵明があげられる。その漢詩はあまりに有名であるがそれ以上に陶淵明の隠逸的な処世法は後代の文人に大きな影響を与えている。
「文人」という言葉が見られる最古の文献は周代まで遡ることができ、儒学経典の『書経』や『詩経』に「文徳の人」（『詩経』 毛氏伝）あるいは「徳美あって記さるる人」（鄭玄の注釈）とある。つまり学問と徳に秀でた人物を指している。儒教思想は実践的であることから学問を行えば自ずと徳が磨かれるものと見なされていた。漢代になっても文人の意味はほぼ同義である。この時代の文人は記録文書や政治的公文（上書・秦記）などの文書を職業的に扱っていた。また戦国時代末に現れた楚国の屈原に代表される辞賦作家は、王侯の娯楽用として賦を作ったが、漢代になるとこの辞賦作家が多く登場している。後漢末頃から詩が隆盛しはじめ、王侯貴族らは詩に巧みな文人を集めて酒宴を開いて楽しんだという。これら辞賦作家や宮廷詩人を総じて倡優文人（しょうゆうぶんじん）という。彼らは官僚という立場ではあったが政治や社会に対する影響力は小さかった。後漢前半に生きた王充は『論衡』において最初に文人論を述べた。それによると文を扱う才能を5段階に分け、上から「鴻儒」・「文人」・「通人」・「儒生」・「俗人」としており、文人の作文能力を高く評価している。
そもそも文人とは「文房の人」、つまり書斎にいる人という意味で、中国では普通に使われてきた。これは中国において書斎を中心に文化が発展してきたからであり、「武人」つまり軍人との対比的な意味合いで使われた。時代的変遷を総じていえば、文人の要素として時代を遡るほど徳（道義）を強調する傾向があり、時代が下ると風流に傾倒するといえる。
富山市生まれ。父が朝鮮で教職にあったため、幼少から中学卒業までを朝鮮で過ごす。金沢の旧制第四高校に入学した1939年より俳句をはじめ、「馬酔木」「寒雷」などに投句、加藤楸邨、中村草田男に師事。1942年、東京帝国大学国文科入学。1943年、召集を受け旧満州の牡丹江の部隊に配属。遺稿になるかもしないと考え、句集の草稿を後に妻となる細見綾子に託す。1944年、綾子の尽力で第一句集『雪白』出版。9月に東大卒業。1946年、金沢で原子公平らとともに「風」を創刊。同誌には金子兜太なども集まり、50年代より社会性俳句議論の中心となる。1947年、綾子と結婚。また金沢大学で講師の職につく。1956年、第二句集『塩田』を出版。同年、東京都武蔵野市に転居し、文部省勤務となる。1966年、東京藝術大学助教授に転任。70年同教授。1987年、大学を定年退職し同名誉教授。また俳人協会会長に就任。1993年、勲三等旭日中綬章受勲。1995年、句集『眼前』にて第10回詩歌文学館賞を受賞、『昭和俳句の青春』にて第10回俳人協会評論賞を受賞。1996年、句集『白鳥』にて第30回蛇笏賞を受賞。2001年11月5日、死去。「風」は、翌年3月号の沢木の追悼特集号をもって終刊。門下に檜山哲彦など。戦後より「風」誌を中心に社会性俳句を主唱。社会性俳句を社会主義イデオロギーを根底に持つ俳句と捉え政治性をはっきりと打ち出した。特に代表句「炎天に百日筋目つけ通し」を含む「能登塩田」連作（1955年）は話題を呼び、この連作を含む句集『塩田』は西東三鬼の激賞を受ける。日米安保条約改定後の1960年頃からは社会性を後退させ写実中心の作風に移行、正岡子規の写生説の見直しを行いつつ「即物具象」のスローガンを掲げた。後期の代表作に瓢湖での作「八雲わけ大白鳥の行方かな」（『白鳥』）がある。