一方、家達は再度の自身の訪中計画の作成を河井に指示し、この際に河井が柳田と面会し「将来ノ進退」を聴取したが、柳田は家達が「偏狭我儘ニシテ自ラ公明ヲ装フモ窃ニ陰険手段を弄ス」点が我慢ならず、近日中にも辞職し「従来ノ情弊ヲ一掃セム為一切ヲ公表」するつもりだと述べた。
家達は河井に自身の訪中の同伴を命じたが、柳田が河井に出張命令を出すことを拒否してきたので、家達は河井を通じて柳田の真意を探るよう指示した。柳田は河井の出張を認めれば書記官が少数になるので業務に支障が出ると答えているが、それは表向きの理由で前述したように柳田は家達が議長付き書記官を私的目的のため働かせることを嫌っていた。家達側はこの柳田の執拗な「嫌がらせ」に困惑しきりであった。
ワシントン会議全権.
しかし、全権に就任するということは原内閣の軍縮などの外交方針に従い、公的な場においてその立場から政治的発言を行うことを意味し、それによってこれまで「無色」の上院議長で通してきた家達に毀誉褒貶すなわち政治的評価が付着する結果になった。それは必ずしも賞賛一辺倒ではなく、原内閣と政治的に対立している人物から多くの批判が寄せられるようになった。貴族院内でも議長批判の声が上がるようになり始めたため、帰国後に河井が対応に奔走することになる。
シカゴでの演説では「吾々は世界に於ける軍備縮小の目的を達する為め吾々の最善を努めたい覚悟である。そしそれは独り吾々の本国たる日本の為と云ふ許ではなく又同時に世界の平和を保証するものであると信ずる」と語った。また家達は共同通信の記者に対して日米両国間に横たわる誤解の原因を払しょくすることに専念するつもりであり、日米がお互いをよく理解し協力すべきと日米関係改善を試みると発言している。また別の演説の中ではペリー来航の話を絡めて日米外交を開始した徳川将軍家の子孫が今更なる日米友好の発展を期すといった演説も行った。外務省や日本全権団はワシントン会議の動向を報じる各国新聞の論調を注視しており、日本全権団も家達を中心に新聞記者を対象にしたレセプションを開催するなど各国報道陣への対応に注意を払った。