1880年共和党全国大会
ガーフィールドは軍隊を去りたくなかったので、自らエイブラハム・リンカーン大統領を訪問し、助言を求めた。リンカーンはガーフィールドに、扱うことのできる以上に将軍がおり、必要なのは政治的な支援だと告げた。
ガーフィールドはその後も2年毎に下院議員に再選されていった。1872年、クレディット・モビリエ・オブ・アメリカの収賄事件で疑惑のある金329ドルを受け取ったとして告発された。ガーフィールドは繰り返しこの容疑を否定し、下院捜査官の前で弁護してもらうためにウィリアム・E・チャンドラーを雇うことまでした。このスキャンダルではあまり証拠が無かったので、ガーフィールドの政歴に大きな影響を残さなかった。その4年後、ジェイムズ・G・ブレインが下院から上院に転籍したので、ガーフィールドが下院の共和党院内総務になった。この年は1876年アメリカ合衆国大統領選挙でラザフォード・ヘイズと民主党のサミュエル・ティルデンが激しく争ったときであり、その決着は下院の選挙委員会に持ち込まれた。ガーフィールドもこの委員となり、委員会は最終的に論争のあった選挙人票20票を全てヘイズのものと判断し、その当選を決めた。1877年の妥協と呼ばれた。1880年共和党全国大会に先立ち、ガーフィールドはブレイン支持を打ち出していた。しかしジョン・シャーマンが出馬を表明すると、ガーフィールドは支持先を切り替え、「オハイオ・アイシクル」の支持を表明した。
コンクリングが演説を終えた後、ブレインやシャーマンの陣営からブーイングや「シー」の声があがり、一方ストールワートのグラント支持者は拍手喝采した。ノースカロライナ州の順番のあとオハイオ州の代議員団はジェームズ・ガーフィールドが代表して、ジョン・シャーマン推薦の演説を行った。
ガーフィールドは演説原稿を書いておらず、そのような大群衆のまえで演説を行うことに非常に神経質になっていた。シャーマンはシカゴに向かう前に「彼が採用したいかなる方向にも勇気を与えることを続けた」と強調するよう伝えていた。
ガーフィールドは、この大会での自分の役割について大きな誇りを持っていることを強調して演説を始めた。続いて大統領が所有すべき特質を数え上げ、党の統一の重要性を強調した。演説の最後近くなってシャーマンの名前を挙げた。
ガーフィールドの演説に関する多くの報告書は、その熱心さ、雄弁さ、受け取られ方の良さを挙げていた。ある証言では、大変受けが良かったので、代議員達にガーフィールドを大統領候補の競合者として考え始めさせたことを示すものもあった。
一方で、シャーマン支持派の者にはガーフィールドの演説を全く嫌った者もいた。シャーマン支持者からシャーマン自身にあてた電報には「ガーフィールドは貴方に何の貢献もしていない。