9月の民進党代表選挙後、離党を検討していることが報じられ、9月28日に離党届を提出し、希望の党に参加する意向を示した。同年10月22日投開票の第48回衆議院議員総選挙では希望の党公認で出馬し、党への逆風から党勢がしぼんでいき、2回続けていた小選挙区での議席を死守できず、最終的に比例で復活当選。2018年5月、希望の党と民進党による新党、国民民主党の結党には参加せず無所属となった。2019年5月7日、無所属のまま衆議院会派『社会保障を立て直す国民会議』に入会した。
幹事長辞職後も維新の党の野党再編派として活動。民進党に合流した。2016年9月、蓮舫代表の下、民進党役員室長に就任。10月、民進党東京都連会長選挙に出馬するも、現職の松原仁に敗れる。2017年6月、2017年東京都議会議員選挙で民進党から公認を受けている、妻の野上幸絵都議が都民ファーストの会との連携を模索するとし離党届を提出したことを受け、その責任を取るため役員室長を辞任した。
2013年12月、結いの党が結党されると政策調査会長に就任。日本維新の会との合流へ向けて政策協議を進める。2014年9月、日本維新の会と結いの党が合流して維新の党が結党したことに伴い、引き続き政務調査会長に就任。2014年12月の第47回衆議院議員総選挙では、東京15区で自民党の秋元を僅差で破り、3選。2015年5月17日、大阪市特別区設置住民投票で大阪都構想が否決されると、維新の党の橋下徹最高顧問は大阪市長任期終了後に政治家から引退することを表明、江田憲司は党代表の辞職を表明した。19日の両院議員総会で幹事長の松野頼久が代表に選ばれ、21日の執行委員会において幹事長の後任に政調会長であった柿沢を、政調会長の後任に政調会長代理であった今井雅人を充てる人事が決定された。8月14日、山形市長選挙において、民主党・共産党などが推薦する立候補者を独断で応援に訪れたことを問題視した松井一郎大阪府知事が幹事長の辞任を要求するが、これを拒否したため橋下・松井が維新の党を離党し新党結成を表明するなど、党が分裂する事態に発展した。このため、党内から辞任論が相次ぎ、9月8日に幹事長を解任された。
2009年8月、みんなの党に入党。同月の第45回衆議院議員総選挙にみんなの党公認で東京15区から出馬し、小選挙区では、民主党の東祥三、自由民主党の木村勉の後塵を拝したが、重複立候補していた比例東京ブロックで復活し、初当選。2012年12月の第46回衆議院議員総選挙では、東京15区で民主党から日本未来の党へ鞍替えした東祥三や自民党の秋元司らを下し、初めて小選挙区で当選した。みんなの党では江田憲司幹事長の側近として活動し、政調会長代理を務めたが、江田が渡辺喜美代表との対立により2013年8月7日付で幹事長を解任されると、柿沢も政調会長代理を解任された。同年8月23日、みんなの党へ離党届を提出し、受理された。
2008年2月9日、知人と焼肉店で飲食後、首都高速道路で酒気帯び運転による自損事故を起こし、飲酒の発覚を免れようと雪を食べたとされる。2月12日に都議会議員を辞職、民主党を離党した。その後、滋賀県にある臨済宗永源寺派大本山永源寺で修行を重ね、帰京後は食道癌に罹患した父の看病に携わった。
2012年からは、テーマソングとしてTHE SQUAREの『TRUTH』が復活した。オープニング映像では、当番組が開始した1987年からの歴代ワールドチャンピオンである、アイルトン・セナ、アラン・プロスト、ナイジェル・マンセル、デイモン・ヒル、ジャック・ヴィルヌーヴ、ミハエル・シューマッハ、ミカ・ハッキネン、フェルナンド・アロンソ、キミ・ライコネン、ルイス・ハミルトン、ジェンソン・バトン、セバスチャン・ベッテルが紹介された。その後もこれをベースにほぼ同じオープニング映像が使用されており、毎年若干の変更を加えている。2013年は、前年紹介されなかった1987年ワールドチャンピオンのネルソン・ピケがセナの隣に追加された。2014年は、ベッテルの後に2年ぶりのF1復帰となる小林可夢偉が追加された。また、ベッテルの写真が前年最終戦の表彰式での物に変更された。日本グランプリは特別なオープニングが作られ、メルセデスのルイス・ハミルトンとニコ・ロズベルグ、レッドブルのダニエル・リカルドとセバスチャン・ベッテル、フェラーリのフェルナンド・アロンソとキミ・ライコネン、ケータハムの小林可夢偉が紹介された。2015年は、前年ワールドチャンピオンのハミルトンが最後に紹介され、ベッテルは前年までのハミルトンの位置に変更された。なお、今シーズンに参戦していない小林は外されている。2016年は、この年よりBSでの日本GP録画放送でのみオープニング映像が使用されている。前年までと同じ映像だがF1マシンの風切り音などの効果音が追加されている。2017年は、映像が一新され今シーズンのレース映像をダイジェスト風に編集した約15秒間のオープニングが放送された。2018年は、2016年まで使用していた「F1 GRAND PRIX」のタイトルに続き、この年開催30周年を迎える鈴鹿サーキットでの日本GPの過去のレース映像となった。