リチャード・ブリンズリー・シェリダン
ジョージはその常軌を逸した生活で負債が山ほどでき、父が援助を断ったこともあり彼はカールトン・ハウスを離れてフィッツハーバートの邸宅に住むことを余儀なくされた。1787年、ジョージの盟友だった政治家は議会からの補助金でジョージの債務返済を助けようとした。その際、ジョージとフィッツハーバートの関係が疑われたが、その関係を認めてしまうことは大きなスキャンダルになり、議会の援助はそのまま水の泡となる。そのため、ホイッグ党の長であったチャールズ・ジェームズ・フォックスはジョージを代表してその疑いはただの中傷であると宣言した。フィッツハーバートは結婚が公的に荒々しく否定されることを嫌い、ジョージとの関係を断とうとしたため、ジョージは同じくホイッグ党のリチャード・ブリンズリー・シェリダンにフォックスの宣言をより穏健な形に修正させた。一方、議会はジョージに債務返済のための補助金161,000ポンド（現ポンドと同等）とカールトン・ハウス補修のための補助金6万ポンド（現ポンドと同等）を与えた。