1835年に第4代スペンサー伯爵フレデリック・スペンサーの長男としてロンドンで誕生。母はその妻ジョージアナ・ポインツ。ハーロー校を経てケンブリッジ大学トリニティ・カレッジで学ぶ。1857年3月に南ノーザンプトンシャー選挙区の自由党庶民院議員に当選するも、同年12月にスペンサー伯爵位を継承し、貴族院議員に転じる。1858年にフレデリック・チャールズ・ウィリアム・シーモア（Frederick Charles William Seymour）の娘であるシャーロットと結婚した。ストール宮内官として1859年から1861年までヴィクトリア女王の王配アルバートに仕え、ついで1862年から1866年まで皇太子エドワードに仕えた。1865年にガーター勲章を受勲する。1869年から1874年まで第1次グラッドストン内閣のアイルランド総督を務める。第2次グラッドストン内閣では1880年から1883年まで枢密院議長を務め、1882年から1885年までアイルランド総督に再任する。この後の短期間の野党時代に自由党党首ウィリアム・グラッドストンはアイルランド自治の方針を固めた。これに党内ホイッグ貴族派の領袖ハーティントン侯爵が強く反発し、彼は1886年1月末に成立した第3次グラッドストン内閣への入閣を拒否した。スペンサー卿もホイッグ派だが、彼はグラッドストンを支持して入閣を了承した。第3次グラッドストン内閣には枢密院議長として入閣した。自由党はアイルランド自治法案をめぐって自治賛成派と反対派に分裂したが、スペンサー卿は「総督としての経験から言って、アイルランドには自治を与える以外に解決策がない」として法案を支持した。しかし自由党議員が多く造反した結果、法案は否決され、解散総選挙にも敗れた結果、第3次グラッドストン内閣は短命政権に終わった。1892年6月末に成立した第4次グラッドストン内閣には海軍大臣として入閣した。グラッドストンはスペンサー卿に第2代グランヴィル伯爵のような穏健派としての役割を期待していたが、この時期に閣内で起こった海軍軍拡論争では軍拡に反対するグラッドストンに協力しなかった。孤立したグラッドストンは1893年3月に辞職した。退任にあたってグラッドストンはスペンサー卿を後任の首相に推そうと考えていたというが、女王は慣例に反して退任する首相への次期首相への下問をせず、独断で外相第5代ローズベリー伯爵に組閣の大命を下したため、スペンサー卿の首相就任は沙汰やみとなった。ローズベリー伯爵内閣でも引き続き海軍大臣に在職した。中国分割をめぐってロシアとフランスが極東における海軍力を急速に増強していることを念頭に、極東にも二国基準（露仏両国の海軍力よりも上の海軍力を目指す）を導入することを決定した。これについてスペンサー卿は「イギリスは極東でも露仏の海軍共同を恐れる理由はない。イギリス駐中国艦隊は露仏両国の海軍力の合計よりも相対的に強力である」と自負した。1901年から1907年までコーンウォール公領会議議員、コーンウォール公璽尚書（Keeper of the Privy Seal of the Duke of Cornwall）を務める。1910年に死去。子がなかったため、異母弟のチャールズが爵位と家督を相続した。
早大学院を経て早稲田大学政治経済学部を卒業。1995年に報道記者志望でテレビ東京に入社するが、バラエティ番組ばかり立ち上げる。目標は「3歳の息子にちゃんと見せられる番組を作ること」。伊藤がプロデューサーとして担当する番組はゴールデン番組ではできない低予算ながら奇抜な企画を提案し、話題をさらっている。お笑い芸人が多く出演する番組を巧みに演出し、笑いの間口を広げていく番組で手腕を発揮する。『モヤモヤさまぁ〜ず2』では時々出演し、さまぁ〜ずに代わってロケを行うこともある。その際の呼び名は「伊藤P」。レギュラー陣に次ぐ人気と知名度を誇っている。携帯の公式サイトでは、プロデューサー日記のコーナーも担当している。深夜枠で地上波ではあり得ないようなギリギリな挑戦的な番組を数多く制作していることから、ゴールデンタイムを嫌うマイナー系の制作者とみられがちだが、インタビューで「ゴールデンだけを目指すのはおかしいし、ゴールデンを否定するのもおかしい」と語っているように、本人は必ずしも深夜枠にこだわっているわけではない。『モヤモヤさまぁ〜ず2』も2010年にゴールデンに進出する。これはテレビ東京の社長・島田昌幸の勧めで実現したものだが、社長の手紙の書き出しも「テレビ業界が暗黒時代」という暗い書き出しで、テレビ東京社員及び社長が番組のファンという理由であり、社長自身も後にテレビ東京の看板番組になるとは思っておらず、伊藤本人もこの進出を心配していたが、結果的に10周年を無事に迎えた。また、『モヤさま』の後に始まった『シルシルミシルさんデー』だけには負けたくないと番組中にコメントした。自身が制作する『やりすぎコージー』『モヤモヤさまぁ〜ず2』のDVDを大ヒットさせたが、「なんでもかんでもDVD化して番組を二次利用しようとする流れはすぐ終わると思う」と述べ、バラエティ番組DVD市場の限界を指摘している。また、「“もう1度見る必要性を感じる内容か”“見逃しやすい放送時間であったか”など、すべての要素を考えて、DVD化する番組とそうではない番組をはっきりと分けることが重要」と持論を展開している。会社で1度も話したことのない社員がたくさんおり、距離があるため、会社の後輩は畏怖の念を抱きあまり近寄ってこないと『Quick Japan』誌のインタビューで述べている。しかし伊藤自身は20代の若手社員には新たな企画をどんどん出してテレ東バラエティを盛り上げていって欲しいという希望を抱いている。2010年には映画『お墓に泊まろう!』の監督を務め、映画監督業にも進出した。なお、同映画では河本準一（次長課長）が伊藤の役を演じている。モヤモヤさまぁ〜ず2の年末特番ゴールデンスペシャルで地元・花小金井を特集し、とれ高が足りないためさまぁ〜ずと大江麻理子を都内なのに帰宅させず宿泊することにし、お詫びとして父親が宴会場を予約。両親も登場し宴会に参加した。母親は地元に全く関係の無い手料理を持参、父親はあまりの天然ボケっぷりに三村から「100のボケを持つ男」と呼ばれた。年末特番は結果的に爆死。モヤさまスタッフや出演者にとって花小金井が見事「苦い思い出の街」となった。モヤモヤさまぁ〜ず2での登場シーンのBGMは「踊る大捜査線」の室井慎次のテーマ。さまぁ〜ずによく「死に枠」と呼ばれる裏番組が強敵で他の番組の視聴率が取れない時間帯にスペシャルを提案しており、さまぁ〜ずから「俺らだって死にたくないんだから」や「バカじゃない？」と言われていた。案の定スペシャルは爆死している。ハワイロケに行けない理由をさまぁ〜ずのマネージャー・松本のせいにして、ハワイロケを決行。プライベートでもハワイに行ったが、一切日焼けしておらずさまぁ〜ずから「本当に行ったの？」と言われた。大江麻理子から「スタッフが行きたいからという理由だけで深夜番組なのにハワイに行った」と明かされている。「企画制作現場で「もうその企画はある」や「企画に保険はない」という言葉をよく聞くが、探せば「ほらあったじゃん！」って事がある。」「バラエティ番組は「非日常」でなければいけない。」と考えており、「それでもバラエティ番組で初めて「外来種」や環境問題を学べる事もある。ただ面白いという理由だけでやってはいけない。視聴者は「もっと面白いもの」「もっと珍しいもの」「もっと勉強になること」を望んでいる。テレビ業界はそれに気付くのが遅かった。しかしこれから追求していっても遅くはない」と語った。2019年6月25日付で一部の番組がチーフプロデューサーとして昇格した。