1999年6月、2000年シドニーオリンピックアジア地区第一次予選期間中に無断でチームを離れ、当時交際中の梨花と密会していたことが写真週刊誌「FOCUS」で報道された。この報道を受け、当時U-23代表監督のフィリップ・トルシエから代表を更迭された。2018年6月、チーム遠征から無断で離れ、都内のホテルで知人の女性と密会する現場を週刊女性にスクープ報道された。この報道を受け、所属先の鹿島アントラーズは規律違反処分として、柳沢の自宅謹慎（無期限）を発表した。同年6月8日付でコーチを辞任。
2015年に鹿島アントラーズのコーチに就任し8年ぶりに古巣復帰した。2019年6月8日付でコーチを辞任（詳細は柳沢敦#不祥事を参照）。
2003-04シーズンはサンプドリアでリーグ戦15試合に出場するも無得点に終わった。クラブ側に契約延長の意思は無くサンプドリアを退団、引き続き海外でのプレーを希望し、同セリエAのFCメッシーナと契約、鹿島からの1年間の期限付き移籍の形をとった。2004-05シーズンはメッシーナ移籍後、8月22日コッパ・イタリアの1回戦でアチレアレから1ゴール1アシストの活躍でイタリア公式戦初ゴールをあげ、レッジーナとの海峡ダービーで決勝アシストを決め「柳沢は海峡の王様だ」との見出しが地元紙に載るなどしたが、 リーグ戦では22試合で無得点に終わる。またこの期間、ジーコからも日本代表の招集がかからなくなった時期があった。シーズン途中からMFとして主に左サイドで起用されるようになる。W杯アジア最終予選イラン戦を控えた2005年3月22日、藤田俊哉の負傷離脱後に日本代表に緊急招集。これが2004年7月13日の親善試合セルビア・モンテネグロ戦以来8カ月ぶりの招集だった。イラン戦では途中出場を果たし、福西のゴールにつながるポストプレイをこなした。6月3日のバーレーン戦では1トップとして先発に復帰し、W杯出場のかかった6月8日の北朝鮮戦では5試合523分ぶりの決勝ゴールを挙げた。またコンフェデレーションズ杯のメキシコ戦では難易度の高いゴールを決める活躍を見せた。2005-06シーズン開幕前には柳沢本人が残留を希望し、メッシーナに完全移籍を果たす。ただ、この時はメッシーナ側に移籍金を満額払える余裕はなかったため移籍金の半額だけ払うという「共同保有」の形を取った。そのため、契約が満了した場合の優先交渉権は鹿島に残り、Jリーグのクラブが獲得を打診する際の窓口も鹿島になるという形を取った。シーズン開幕前には今年の注目選手として特集記事を組まれるなど、一定の評価を得ていたが、出場機会は乏しくノーゴールが続いた。苦しい時期が続いたが日本代表に招集されたホンジュラス戦では2ゴールを挙げるなどの活躍もみせた。ドイツW杯の出場に向け、12月には出場機会の少ないことに不満を訴えクラブに移籍を希望。2006年2月28日に契約は解除され、2006年3月からW杯終了の6月末まで古巣鹿島への期限付き移籍という形で了承された。
東京府豊多摩郡中野町（現在の東京都中野区）で、父「吉田健（つよし）」、母「欣子」の長男として生まれる。父親の転勤により小学校5年までを新潟県師範学校附属小学校、小学校6年まで鳥取県師範学校附属小学校、旧制中学校2年まで鳥取県立第二中学校（現在の鳥取県立鳥取東高等学校）に通学。その後、甲府の父親の生家に帰り山梨県立甲府中学校（現在の山梨県立甲府第一高等学校）、昭和18年（1943年）9月に第一高等学校を卒業し東京帝国大学法学部に入学。短期現役海軍主計科士官（12期）を志願。昭和19年（1944年）9月海軍経理学校に入学し海軍主計見習尉官。昭和20年（1945年）6月、主計少尉に任官され、津海軍工廠に勤務し終戦を迎えた。昭和22年（1947年）3月に東京帝国大学法学部政治学科を卒業し、同年4月に文官高等試験司法科に合格、同年5月に大蔵省に入省し理財局調査課に配属。同年12月、文官高等試験行政科試験に合格。昭和25年（1950年）5月に尾道税務署長、同26年（1951年8月）に福岡国税局総務部総務課長、同35年（1960年）7月に横浜税関監視部長、同36年（1961年）7月に大阪国税局調査査察部長、同37年（1962年）7月に国税庁直税部資産税課長、同39年（1964年）7月に大蔵省主税局税制第二課長、同41年（1966年）8月に同国際金融局外資課長、同43年（1968年）3月にOECD日本政府代表部参事官、同46年（1971年）7月に大蔵省大臣官房審議官（国際金融局担当）、同47年（1972年）6月に国税庁直税部長、同48年（1973年）6月に国税庁次長、同49年（1974年）6月に大蔵省関税局長を務め、昭和50年（1975年）7月に退官。退官後の同年8月には農用地開発公団副理事長を歴任。昭和53年（1978年）6月にサントリー株式会社に入社し専務取締役、同年7月には富国生命顧問、同54年（1979年）6月にサントリー株式会社の取締役副社長、同60年（1985年）6月に同社代表取締役副社長となり、同62年（1987年）12月には株式会社エフエム富士会長を務めている。