父：資産家であり歌人の澤木晨吉（しんきち）は林業と呉服反物商を営みながら船川町長に任じられ、後にこれを辞して澤木銀行を創業（現、秋田銀行の前身）した郷土の名士であった。教育事業面では晨吉を会長として澤木奨学会を創設し、多年多数の若者に無償の学資金を提供し続けた。四方吉が亡くなった時に、父・澤木晨吉が別荘だった12000坪の別荘を男鹿半島の大龍寺に寄進し「楽水亭」としている（冬は田園調布と鎌倉の家に住んだ）。澤木と親交があった民俗学者であり歌人でもある折口信夫の歌碑がある。これは、姪の歌人・穂積生萩が折口の唯一の女弟子だったこともある。姪：女流歌人の穂積生萩。詩人の澤木隆子（さわき たかこ）。妻：姫路出身の銀行家石川氏から、望み通りの純日本風で上品な令嬢みね子を迎えた。
四方吉は兄弟の淳吉、堅吉と共に義塾の一部屋を占めて勉強した。水上瀧太郎の思い出によれば、三人は常に絹物を身につけ、部屋や机上を整頓し、粗野な悪童達とは決して交わらないので、悪童は悪口を言って蔭で"別世界"と呼んだ。水上はその悪童の一人で、間もなく親友の交わりを持つとは夢にも思わず、白い顔の優等生を全く別世界人と決めていた。彼の実母タキは評判の美人で、東京の街を歩いても人が振りかえったり立ち止まる程の女性だった。四方吉は、死別した美女の母の面影をヴィーナスとして脳裏に刻みつけ恋い慕った。
1916年に帰国後、研究対象はルネサンス美術からギリシア美術に移った。美術史家の矢代幸雄は、澤木のギリシャ美術の女神について書いた『アフロディーテ（ミロのヴィーナス）の脱衣』について、「私はこの澤木君の優れた感覚と新鮮なる取扱とに大いなる刺激を受けた」と回想している。1919年9月からは、日本美術史の瀧精一教授の計らいで東京帝京大学に講師として招聘されギリシャ美術史を講じた。当時、私学の学者が東京帝京大学に招聘されるのは異例であった。『西洋美術史研究』および『ギリシャ美術史講義案』について、児島喜久雄は「あの講義案は日本の西洋美術史研究の準備時代の物としては、全く立派なものであった」と言っている。衰運の「三田文学」を再建し、永井荷風の後を継ぎ主幹を務める。教え子に小島政二郎、勝本清一郎らがいる。欧州滞在記、美術史評論を発表する。慶應義塾を、いまに続く美術史研究の重要拠点に育てた先駆者は澤木四方吉である。。また、ミロのヴィーナスを日本に紹介した。芥川龍之介が慶應義塾大学英文科の教授になりたい希望を持ち、四方吉は弟子の小島政二郎を介して熱心に申し入れたが学校側の経済的理由などで成就しなかった。芥川は、この時以来、澤木の精緻明断な頭脳には遠く及ばない、と人に語ったと言う。芥川は四方吉に小品「窓」を献じて敬意を表した。澤木の病気が悪化し、神奈川県藤沢市に越すのだが、それは芥川が以前住んでいた家であった。
南宋の初期の儒学者である楊時が無錫（現在の江蘇省無錫市）に18年間逗留し、程顥・程頤の学問を講じるために設けたのが東林書院の起源である。その後この学校は廃止された。明代の万暦年間に皇帝の意に逆らい更迭された顧憲成が故郷の無錫に帰り、高攀龍などの地方名士の援助を得て1604年に東林書院を復興させた。校地6畝、校庭10畝の広さで石坊、院門、麗澤堂、依庸堂、燕居和中和堂を建て、書院の東に楊時を祀る。楊時の号にちなみ亀山書院とも呼ばれた。“風聲雨聲讀書聲，聲聲入耳。家事國事天下事，事事關心。”という掲示で建学の精神、顧憲成の政治的関心を表し、依庸堂では、1年に1回（一大会）、1ヶ月に1回（一小会）というペースでそれぞれ3日間の講学が催された。東林書院は学問の中心地であるとともに、反政府的傾向を持つ知識人を周囲に集めるようになり、顧憲成・高攀龍・顧允成・安希範・劉元珍・葉茂才・銭一本・薛敷教といったいわゆる「東林八君子」を有名にするが、朝廷内で魏忠賢が権力を握ると権力闘争に巻きこまれ東林党が排斥されると、書院の存在自体が問題視され、天啓5年（1625年）に全国書院の取り壊しの詔が発せられ、東林書院は依庸堂などが壊されることとなる。崇禎帝が即位すると東林党は復権され、東林書院の修復が命じられる。清朝に代わった頃には昔の勢いはなく、北京に分院としてできた首善学院に人気が移っていたが、順治・康熙・乾隆年間には全面改築が行われた。1947年に無錫市の名士が出資して晩翠山房、依庸堂、再得草廬、時雨斎、南国杏壇、道南祠、三公祠などを修築。1982年に無錫市人民政府がさらに修理を進め、2002年にも石牌坊、儀門、麗澤堂、依庸堂、碑亭、道南祠に大改修を実施し、中華人民共和国全国重点文物保護単位に指定されている。