小説家アーサー・コナン・ドイルが生み出した名探偵シャーロック・ホームズが活躍した時代は、主にソールズベリー侯爵内閣期だが、続くバルフォア内閣期の1903年にも多くの事件を手がけたという設定になっている（同時にこの年にホームズは引退する）。『マザリンの宝石』（『シャーロック・ホームズの事件簿』収録）の依頼人は英国首相であるが、これは1903年の事件と言われており、それが正しければ依頼人の首相というのはバルフォアということになる。作中でビリー少年は首相のことを「付き合いやすそうな人」と評している。同じく『海軍条約文書事件』（『シャーロック・ホームズの思い出』収録）に登場する外務大臣ホールドハースト卿はソールズベリー侯の変名と言われており（ホームズ小説はワトスンの著作という形式をとっているため、ワトスンが当人に配慮して変名にしていると考える余地がある）、そうだとすれば、その甥という設定で登場する依頼人パーシー・フェルプスはバルフォアの変名である可能性が高い。作中でフェルプスの住居はウォーキングに設定されていたが、ここはバルフォアの弟の住居がある場所であり、バルフォアの最期の地でもある。
スポーツマンでもあり、テニス、サイクリング、ゴルフなどに熱中していた。とりわけゴルフの腕前は高く、1894年にはロイヤル・アンド・エンシェント・ゴルフ・クラブ・オブ・セント・アンドリュースのキャプテンとなった。ハンディは5の腕前であったという。首相たる彼があまりにゴルフに熱中するので社交界もつられてゴルフに熱中するようになり、「スコットランド式クロッケー」などとバカにされていたゴルフの名声が高まっていったという。バルフォアはゴルフについて次のように語っている。「筋肉と頭脳がかくも融合されたゲームは他にない。私にとって重要なものは食事、睡眠、ゴルフである」、「紳士はゴルフをする。例えはじめた時には貴方が紳士でないとしても、この厳しいゲームをやっていれば必ずや紳士となるであろう」、「ゴルフは三回楽しめるスポーツである。すなわちコースへ行く前、プレイ中、プレイ後である。その内容は期待、絶望、後悔と変化するが」。
バルフォアは1929年に政界引退したが、その翌年の1930年3月19日にサリー州ウォーキングにある弟の住居で死去した。故郷のウィッティングハムに葬られた。生涯独身であったため、爵位は弟ジェラルドに継承された。
党首退任後もバルフォアは党の重鎮であり続けた。これについてブレイク男爵は著書の中で「バルフォアの信頼度は確固たるものであり、これに匹敵する者はなかった。ボナー・ローには新政権に必要な保守党からの支持を保証することはできなかったが、バルフォアにはそれができた」と語っている。国王ジョージ5世からも絶大な信頼を寄せられて元老としてしばしば諮問を受けた。
この結果に党内から不満が噴出し、党の分裂は深刻化した。議会法の貴族院可決があった8月10日夜の保守党社交界カールトン・クラブの席上では賛成票を投じた貴族院議員たちに「恥を知れ」「裏切り者」「ユダ」といった罵倒が浴びせられた。バルフォアの指導力にも疑問が呈されるようになり、F.E.スミスやオースティン・チェンバレンを中心に「B・M・G（バルフォアよ、去れ）」運動が開始された。こうした党内の亀裂を収拾するため、1911年11月8日にバルフォアは健康上の理由として保守党党首職を辞した。後任の保守党党首は決まっておらず、ウォルター・ロングとオースティン・チェンバレンが後任の座をめぐって争ったが、結局この2人は党の分裂を恐れて共に辞退し、関税改革派・親アルスター派の論客として名を馳せていたアンドルー・ボナー・ローが後任の党首に収まった。バルフォアの党首辞任を聞いたアスキス首相は「世界で最も偉大な審議機関の最も卓越した一員だった」という賛辞をバルフォアに送った。
ジョゼフ・チェンバレンが病に倒れたせいもあって彼の党内における力は強化されていたが、庶民院において自由党が圧倒的多数を占めていたためできることは限られていた。このためバルフォアは保守党貴族院院内総務のランズダウン侯爵と協力し、貴族院議員を使って自由党の政策や法案に抵抗するようになった。早くも1906年4月には初等教育から宗教教育を排除することを目的とした「教育法案」を貴族院で葬った。これに反発した首相キャンベル＝バナマンや急進派閣僚の通商大臣ロイド・ジョージは貴族院改革の意を強めた。キャンベル＝バナマンは1907年6月にも庶民院の優越を定める法律を制定すべきとする決議案を議会に提出し、その決議案説明の中でロイド・ジョージは「貴族院は長きにわたり、憲法の番犬だったが、今やバルフォアのプードルである。彼のために吠え、使い走りをし、彼がけしかけたどのような物にも噛みつく」と怒りを露わにした。だがバルフォアは態度を翻すことはなく、首相がアスキスに変わった後の1908年7月にも醸造業者の独占制限を目的とする「酒類販売免許法案」を貴族院で否決させた。この際に急進派閣僚の通商大臣ウィンストン・チャーチルは「我々は貴族院を震え上がらせるような予算案を提出するであろう。貴族院は階級闘争を開始したのだから」と語ったという。
ハイラム・ショウ・ウィルキンソンは父ジョン・ウィルキンソン、母アナベラ・ショウ間に、1840年、ベルファストに生まれた。1864年にはプルディ・ガフィキンと結婚した。妻は1870年に死亡しているが数人の子供があり、息子の一人であるハイラム・パークス・ウィルキンソンは父と同様に中国・日本で裁判官を務めている。ウィルキンソンはクイーンズ大学ベルファストに学び、1864年には学士号、1881年には法学博士号を取得している。1872年、ウィルキンソンはミドル・テンプルの法廷弁護士に認められた 。大学卒業後の1864年から、横浜の英国領事館に通訳生として雇用された。この期間の領事業務を通じて流暢な日本語を身につけた。1876年までには、ウィルキンソンは東京の英国公使館の通訳官となっており、また横浜の領事裁判所の非常勤判事を兼ねていた。1877年には同裁判所の法務書記官代理となった。ウィルキンソンが日本で公務についていた時期は、最初期の日本語通訳生で、後に在日本公使（1895年-1900年）・在中国公使（1900年-1906年）となったアーネスト・サトウの勤務時期（1862年-1883年）と重複する。後年、サトウはウィルキンソンを在上海英国高等領事裁判所の判事に推薦したことを述べている。