シェフィールドもバリー・ボンズを筆頭とする栄養補助食品会社のバルコ（BALCO）によるバルコ・スキャンダルで疑惑選手として浮上した一人である。2007年12月13日に発表されたミッチェル報告書にも名前が挙げられた。2003年9月に連邦捜査官がグレッグ・アンダーソンのマンションの家宅捜索を行った時にシェフィールドからバルコ社へ送られた領収書が発見されている。2007年に出版された自伝によると、2003年12月に連邦大陪審に証人喚問された時に、ボンズと一緒にトレーニングを行った2002年シーズン前に、ボンズの専属トレーナーであるアンダーソンから「ビタミン剤」を受け取り、使用していた。クリームは傷を癒すために右膝に塗り、「ステロイド剤が含まれていたかどうかは知らなかった」と証言したという。本の中では「私はステロイドには興味がなかったし、必要としなかった。使用したくなかった」と主張している。また、1994-95年のストライキの後、ステロイドが普及した影響で本塁打が急増した問題についてバド・セリグコミッショナーに調査するように一度要請したとしているが、セリグはそのような要求をされた覚えはないと否定している。
2005年4月14日、フェンウェイ・パークでのレッドソックス戦で、8回裏にジェイソン・バリテックが右翼線を転々とする打球を放った。シェフィールドがその打球を処理しようとした際に、フェンス（フェンウェイ・パークの右翼フェンスは約80cmと低い）からボールに触ろうと身を乗り出したレッドソックスファンが、シェフィールドの頬を誤ってはたいた。これに気を悪くしたシェフィールドは、二塁手に返球後その観客に詰め寄った。そこでもう一人のファンにビールをかけられ、シェフィールドは激怒した。すんでのところで警備員が割って入り、ことなきを得た。その後、右翼周辺にはヤンキースの選手や警官、警備員などが大勢集まり、物々しい雰囲気になり、試合は約30分中断した。この問題を起こした2人のファンはプレイを妨害したということでボストン市警により退場させられ、2005年の残りシーズンの球場への立ち入り禁止処分を受けた。シェフィールドは「あの時は本当にぶちきれていた、だけど自分がやり返した後どうなるかという結果を考えて反撃を我慢することに徹した」とのコメントを残している。
球場外での歯に衣着せぬコメントで有名である。叔父のグッデンからは「結婚してから（1998年末）別人のように変わった。すごく大人になった」と評されることもあったが、現在でもことあるごとに問題発言をしてはマスコミを賑わせている。2004年末にイチロー（マリナーズ）のシーズン最多安打記録更新に対して「200本のシングルヒット？　おいおい、そんなのはグレートな打者とは言えないぜ。もし、俺がボールをハードに打ってスタンドに入れることを考えなければ、毎日でも単打を打つことができるね。ほかの打者だって、そういうふうに打席に立てば、単打くらい打てるさ」とコメントした。2005年夏には、直接名指ししなかったが「チームで一番活躍しているのは（キャプテンのデレク・ジーターではなく）誰なのか俺は分かっている」「マスコミは2人の選手（アレックス・ロドリゲスとジーター）以外はゴミだ、と世間に広めたがっている」「ヤンキースは一流のチームだが、選手間の信頼関係はない」とニューヨークの地元紙記者に発言した。この記事に関しては本人は「悪いことは書かないと言ったのに。嘘をついて取材をしたんだ」と、後日この記者を非難している。
2009年10月21日、内閣府が設置した事業仕分けワーキンググループの一つである、農林水産省・文部科学省・防衛省担当の「仕分け人」となった。2010年6月8日に発足した菅内閣において、内閣府特命担当大臣（行政刷新担当）に就任。その2日後に内閣府にて行われた、就任後初の省庁会見で、会見前の慣例である国旗への一礼を省略した。同年7月の第22回参議院議員通常選挙で再選後、9月17日に発足した菅改造内閣では引き続き内閣府特命担当大臣（行政刷新担当）に留任し、国務大臣としての担当事項として「公務員制度改革を推進するため企画立案及び行政各部の所管する事務の調整担当」も加わった。2010年10月20日、民主党の前首相鳩山由紀夫と実弟で無所属衆院議員の鳩山邦夫が都内で会談し、来春の東京都知事選の候補者選びを巡り、「いま人気のある蓮舫行政刷新担当相が出馬すれば勝てるのではないか」、との認識で一致した。蓮舫は2010年の参議院選挙で東京選挙区史上最多の171万票を取っており、出馬情報が駆け巡ったが、蓮舫本人が2010年10月22日の記者会見で、「出馬の可能性はありません」と噂を否定した。2011年1月7日の記者会見において、「もし適当なところから、さまざまな声をしっかり頂いたなら、検討するのは一政治家として当然のことだ」と発言した。ただし、「現段階では考えていないし、オファーもない」とも述べた。2011年1月発足の菅第2次改造内閣では、内閣府特命担当大臣（行政刷新担当）に留任。「公務員制度改革を推進するため企画立案及び行政各部の所管する事務の調整担当」から外れ、新たに内閣府特命担当大臣（消費者及び食品安全担当）、震災発生後の3月13日には節電啓発等担当大臣も兼務することとなった。6月27日に閣僚ポストをすべて退任し、内閣総理大臣補佐官となった。2011年9月2日に発足の野田内閣において、内閣府特命担当大臣（行政刷新担当）に返り咲く形で就任し、その他にも「新しい公共」、少子化対策、男女共同参画、国務大臣として「公務員制度改革を推進するため企画立案及び行政各部の所管する事務の調整担当」などにも就任した。2012年1月13日の野田第1次改造内閣発足に伴って、内閣府特命担当大臣（行政刷新担当）を退任し、民主党行政改革調査会会長代行に就任。