俗説によれば、側室の染子はかつて綱吉の愛妾であり、綱吉から吉保に下された拝領妻であるという。一説に吉里は綱吉の隠し子であるとも言われる。また、一説に吉保は甲府に100万石の領地を綱吉から賜らんと企てて、吉保の側室になってからも綱吉の寝所に召されることの多かった染子を通じてこれを願い出た。綱吉はこれを快諾するも、まもなく綱吉は病死し、このことは沙汰止みとなった。しかし、このようなことがまた起こることを憂慮した幕閣は、これ以降、将軍が大奥に泊まる際には、同衾する女性とは別に大奥の女性を2名、将軍の寝所に泊まらせ、彼女等に寝ずの番をさせ、その夜に何が起こったのかをことごとく報告させることとした。このことは、江戸幕府が滅亡するまで続けられた。以上の説話は主に『護国女太平記』が流布・訛伝されたものと考えられており、実際には染子は柳沢家家臣の娘に過ぎず、大奥に上がったことも一度としてなかったため、将軍綱吉との接点もほとんどない。「御添い寝」の逸話も、おねだりをしたのがお伝の方など他の女性に変えられて語られる場合もあり、これも信憑性のないものとされることが多い。尾張藩士・朝日重章の日記である『鸚鵡籠中記（おうむろうちゅうき）』宝永6年（1709年）3月5日条では、将軍綱吉の没後に吉里が綱吉の実子であり謀反を企てていたとする噂や、吉里が綱吉から拝領した50万石を将軍家宣が老中・小笠原長重を使者として取り上げたとする噂が流布していたことを記している。
吉保は和歌に親しみ、北村季吟から古今伝授を受けた。吉保自身は数々の詩歌を残してるほか、黄檗宗に帰依し悦峰道章を招き、甲斐に永慶寺を創建している（永慶寺は後に大和郡山に移転）。また、吉保自身の好学や黄檗宗への帰依が関係して、柳沢家では大名文化が興隆した。黄檗宗の文化は文人画（南画）の山水図・人物画へ影響し、柳沢家家老・柳沢保格（曽祢貞刻）の子息である画家・柳沢淇園の活動に及ぶ。淇園は悦峯や服部南郭の画、細井広沢の書を学び、文人画を大成する人物となった。淇園の師のうち服部南郭は京都出身の画家・儒者で、17歳の頃に柳沢吉保に画才と和歌の才を認められ、柳沢家に仕官する。さらに柳沢家を介して荻生徂徠に学び、その高弟となっていた人物である。
鉄道経営が国営か私営かについて初めはそれほどこだわっておらず、明治3年に大隈から東京 - 大阪間の予算見積もりを命じられた前島密が著した『鉄道臆測』で、予算調達を株式発行して私鉄経営を提案した時は予算編成を称賛、経営方針に対してはそれほど注意していなかった。また、明治15年2月の佐々木宛の建白書でも日本鉄道会社の長大な予定線を批判しつつも、設立自体は民間初の壮挙と歓迎している。この見方が批判に変わり鉄道国有化の必要を唱えるのは明治16年3月、中山道ルート敷設主張の5ヶ月前に当たる時期に佐々木に提出した「私設鉄道に対する鉄道局長論旨」で、8項目に渡る私鉄の弊害を挙げた時である。民営鉄道の利益優先主義と競合は、他の会社との競争に熱中するあまり無駄な路線敷設が増加し国家の鉄道敷設の邪魔になる、予算膨張を恐れたり利益が赤字になる可能性があれば交通の便に必要な建設計画を実行せず、せっかく作った施設も放置して改良しない、会社の鉄道独占が国家の介入を阻む恐れがあるなど、新しい線路鉄道発展にマイナスとなるとする。加えて、国家の保護を受けない会社の将来性に期待出来ないため、鉄道国有化と私鉄批判を主張しだした。明治19年から一種の投機熱が工業界で流行、私鉄が続々と設立される状況になると工事進捗と利益増が見込めるとして歓迎する一方、「鉄道工事は多額の資金が必要で事前の入念な準備も欠かせず、審査を経て確実な収入を見込んだ上で計画が実行されるべき」「にも関わらず、私鉄設立を考える者には簡単に稼げると思い込んだ安易な投資が多い」と無計画な設立と投資家の楽観を批判、万一私鉄が失敗して鉄道業界全体に世間の印象が悪化した場合を懸念している。また、小鉄道会社乱立により短い路線が増加しても利益が上がらず、長い路線を敷設して大鉄道会社の少数経営とし、貨物やお客を運んだ方が効率が良いと主張、独占事業だと非難する事業家達との溝が生じていった。ただ、勝が批判していることは見切り発車で動く事業計画についてであり、私鉄全体を否定しているわけではない。地方からも敷設の声が相次ぎ、明治16年7月に福岡県令岸良俊介から佐々木へ宛てて、福岡の鉄道敷設のため下調べに工部省から官僚を派遣してほしい出願書が提出された際、勝は地方利益誘導のため必要とする岸良の請願に応じ、私鉄が設立された時は許可しつつも、鉄道敷設と営業は政府が、資金提供は私鉄が分担する方針を上申した。これは日本鉄道会社との関わりと同じで、岸良に代わり福岡県令となった安場保和が伊藤宛ての明治19年6月の手紙で門司駅 - 熊本駅間の私鉄敷設を上申した時、勝の伊藤宛て意見書に同様の主張で役割分担した上で許可を出すべきと提案した（しかし、当時中山道事業に追われたため九州まで行く余裕がなかった）。私鉄認可の方針がこのように固まると、明治20年3月22日に伊藤に私設鉄道条例を上申、これが容れられ同年5月18日に公布され、日本鉄道会社と福岡県の例を参考に私鉄会社設立の条件および鉄道局長官の材料監査・工事監督が明文化され、無闇な私鉄計画停止ではなく、将来における利益が見込めるなら許可を与えることを重視した。この方針に従い勝は続々出願された私鉄路線の許可を下し、明治19年に水戸鉄道（小山駅 - 水戸駅）、両毛鉄道（小山 - 前橋駅）、甲武鉄道（新宿駅 - 八王子駅）、日光鉄道（宇都宮駅 - 今市駅 - 鹿沼駅）の区間を認可、山陽鉄道と九州鉄道の政府保護も受け入れている。一方、安易な地方利益誘導しか考えていない路線は却下している。