平時忠
生い立ち
時忠の母については『吉記』に、二条大宮（令子内親王）に仕えた半物であったことが記されている。この女性は時信との間に、時忠・時子・藤原親隆の室を産んだ。やがて時信との関係は疎遠となり、右少弁・藤原顕憲と再婚して法勝寺執行・能円を産む。顕憲の死後、時忠と時子は母を引き取って孝養を尽くしたという。
時忠と時子の年齢については、『兵範記』の清盛出家の記事の中に「相国今年五十一、二品四十三云々」 とあることから、時子は大治元年（1126年）生まれとなる。記主の平信範は時子の叔父なので信憑性は高い。時忠は『公卿補任』記載の年齢から逆算すれば、大治5年（1130年）生まれである。しかし『吾妻鏡』には、時忠の薨去を聞いた源頼朝が周囲の者に年齢を尋ねたところ、62歳という返事があったと記されている。これによれば、時忠は大治3年（1128年）生まれとなる。時忠の生年は確定できないが、いずれにしても時子が年長である。『保暦間記』にも「平大納言時忠ト申ハ、太政入道ノ北方二位殿ノ弟也」とある。
久安2年（1146年）3月、17歳で非蔵人、翌年正月に六位蔵人となる。久安4年（1148年）から翌年にかけて検非違使・左衛門少尉となる。久安5年（1149年）4月に叙爵して、蔵人・検非違使の任を離れた。仁平4年（1154年）8月8日の鳥羽法皇による新御堂法会・仏像安置の儀式に、時忠は平清盛と共に院司として列席している。
憲仁親王擁立と配流
平治の乱が終わり清盛の発言力が著しく高まった永暦元年（1160年）4月、時忠は検非違使・右衛門権佐に抜擢された。翌年正月には清盛が検非違使別当に就任して京都の治安維持の責任者となり、時忠は清盛の下で現場の指揮に当たった。さらに10月には右少弁も兼任する。高棟流平氏は実務官人の家系だったが、太政官の事務を処理する弁官を輩出していたのは別系統の平時範の子孫であり、時忠の系統は主に院や摂関家の家司として活動していた。
この頃から時忠は清盛の思惑から外れ、独自の動きを見せるようになる。平治の乱の後、政治の主導権を巡って後白河上皇と二条天皇が激しく対立する中で、応保元年（1161年）9月3日、妹の滋子が後白河上皇の第七皇子（憲仁親王、後の高倉天皇）を出産した。その直後の15日、時忠は清盛の弟・平教盛とともに二条天皇により解官された。『愚管抄』によれば「ユユシキ過言」をしたのが原因であったという。翌年6月、院近臣・源資賢が二条天皇を賀茂社で呪詛したとして解官されるが、時忠も陰謀に関わったとして23日に出雲国に配流された。教盛が短期間で赦免されたのに対してはるかに重い処罰であり、二条天皇親政派が時忠を強く警戒していたことがうかがわれる。この事件において清盛は二条天皇支持の立場をとり、時忠に手を差し伸べることはなかった。
召還、公卿昇進
永万元年（1165年）7月に二条天皇が崩御すると、時忠は召還される（9月14日）。翌仁安元年（1166年）3月に本位に復すと、4月に左少弁、6月には右中弁・検非違使佐・左衛門権佐・五位蔵人を兼任し三事兼帯となった。10月10日には、5年前に果たせなかった憲仁親王の立太子が実現する。翌月、清盛が内大臣となり、時忠も蔵人頭に補された。清盛の大臣就任に不満を抱き、五節の節会に欠席した藤原朝方・徳大寺実家が解官されたことによる後任人事だったが、非蔵人から累進して蔵人頭にまでなったのは極めて異例のことだった。位階も正五位下から従四位下に昇叙され、翌仁安2年（1167年）正月に正四位下・右大弁、2月11日には参議・右兵衛督となり、召還されてわずか2年余りで公卿への昇進を果たした。
仁安3年（1168年）2月に憲仁親王が践祚（高倉天皇）、3月には妹・滋子が皇太后となる。滋子の叔父・平信範は平教盛とともに蔵人頭となり、時忠は従三位に叙せられた。清盛が出家して政界を表向き引退したこともあって、高倉天皇即位後の政治は後白河院が主導権を握った。時忠も滋子の兄という立場から、後白河院の側近として活動することになる。7月3日、右衛門督・検非違使別当に就任するが、尉・佐を歴任して別当になったのは時忠が初めてだった。8月には権中納言となる。同月、清盛の致仕により空席となっていた太政大臣に花山院忠雅が任じられ、時忠は慶賀の儀式に出席している。12月、伊勢神宮の正殿が焼失すると、翌嘉応元年（1169年）正月、復興のための公卿勅使として伊勢国に派遣された。4月に滋子が建春門院の院号を宣下されたことにより、女院別当に補される。11月に新帝の八十嶋祭が盛大に執り行われ、時忠も公卿として行列に加わった。後白河院政は平氏一門の協力で磐石なものとなり、政情も安定するかに見えた。
嘉応の強訴と再度の失脚
ところが12月に突如として延暦寺が院近臣・藤原成親を流罪に処すよう要求して強訴を起こした（嘉応の強訴）。成親の知行国である尾張国の目代・政友が延暦寺領美濃国平野荘の神人に乱暴を働いたことが発端だった。後白河は同じ天台宗でも園城寺を優遇し、延暦寺に対しては院近臣を国司に任じて、荘園の停廃・神人の取り締まりなどの強圧的な政策を行っていたため、院と延暦寺の対立は前々から一触即発の状態にあった。
22日、延暦寺の大衆が強訴のため下山、23日には上洛の態勢に入ったとの報を受けた後白河法皇は、院御所に公卿を召集して対応を協議するとともに、検非違使・武士に動員令を下した。時忠も検非違使別当として院御所・洛中の警備に当たった。しかし大衆は院御所ではなく、警備の手薄な内裏に乱入して気勢を上げた。この事態に時忠は、要求を聞き入れるならすぐに受諾し、聞き入れないなら武士を派遣して大衆を追い払うべきだと、早急な対策をとることを進言する。公卿議定では神輿が破壊される危険性から派兵に消極的な意見が大勢を占め、官兵を率いる重盛も夜間の出動に難色を示したため、翌日の議定で藤原成親配流と政友拘禁が決定した。
しかし、わずか4日後の28日に藤原成親が召還され、時忠と平信範は「奏事不実（奏上に事実でない点があった）」 という理由で解官され、時忠は出雲国に、信範は備後国にそれぞれ配流されることになった。同時に平時実・時家（時忠の子）や平信基（信範の子）も解官となり、結果として堂上平氏が詰め腹を切らされる形になった。院と延暦寺の抗争が再燃したことで、翌年正月17日に政情不安を危惧した清盛が上洛、武士が六波羅に集結して緊迫した情勢となった。後白河法皇は清盛の圧力により、2月6日、やむを得ず成親の解官と時忠・信範の召還を決定した。この事件では、延暦寺への対応を巡って後白河院政と平氏の間に足並みの乱れが生じ、政権が必ずしも一枚岩でないことが露呈することになった。成親が4月に早くも権中納言・右兵衛督・検非違使別当に還任したのに対して、時忠が本位に復したのは12月になってからだった。
建春門院の側近
承安元年（1171年）正月、高倉天皇の元服の儀式が執り行われた。後白河法皇と清盛の間に生じた不協和音が解消されたわけではなかったが、政権維持のためには両者の協力が不可欠であり、調整役として建春門院の政治的地位が上昇した。国母である建春門院の威光により、堂上平氏も勢力を回復していった。時忠は一回目の失脚では清盛に、二回目の失脚では後白河法皇に切り捨てられた苦い経験から、双方に不信感を抱いて距離を置くようになったらしく、政界復帰後は建春門院側近としての活動が顕著となる。娘の一人は建春門院女房となり内侍と称していた。
子の時実は建春門院の御給により従五位上に叙せられ、時忠は4月21日に権中納言に還任、5月1日には帯剣を許された。前年、平宗盛・源資賢が権中納言となったことで中納言9人の例が開かれたばかりだったが、早くも10人の例が始まり九条兼実は「未曾有」のことだと非難している。
10月23日、後白河法皇と建春門院は福原に御幸して、清盛の歓待を受ける。時忠は、源資賢・藤原成親・平重盛・平宗盛・花山院兼雅とともに供奉した。この御幸において高倉天皇と清盛の娘・徳子の婚姻が、正式に合意に達したと推定される。この婚姻の成立には高倉朝の治世安定を願い、政権の内部分裂を回避しようとする建春門院の意向が大きく作用したと思われる。翌承安2年（1172年）2月に徳子は中宮となり、時忠は中宮権大夫に就任した。承安3年（1173年）10月、時忠が責任者となって造営していた建春門院の御願寺・最勝光院が完成、承安4年（1174年）正月には、建春門院の御給で従二位に叙せられた。平氏の栄華をたたえて「一門にあらざらん者はみな人非人なるべし」（現代語訳した「平家にあらずんば人にあらず」で有名な語）との発言をしたのはこの時期とされる。ただし、この「人非人」とは「宮中で栄達できない人」程度の比較的軽い意味だという説が有力である（そもそも、時忠が、このような発言をした史料的根拠はないとも指摘されている。）。安元元年（1175年）11月12日には右衛門督となり検非違使別当に返り咲いた。
政権の動揺
安元2年（1176年）3月、後白河法皇の50歳を賀す式典が法住寺殿で盛大に催され、時忠も他の公卿や平氏一門とともに出席する。しかし6月に建春門院が病に倒れ、7月8日に崩御した。建春門院の死により、今まで隠されていた様々な問題が顕在化することになる。まず母后の不在により後継者のいない高倉天皇の立場が不安定となった。10月23日、守覚法親王の弟子となっていた後白河法皇の第九皇子（後の道法法親王）が四条隆房に抱えられて参内、11月2日には弟・親宗が養っていた第十皇子（後の承仁法親王）も時忠が引き連れて参内し、いずれも高倉天皇の猶子となった。これらの皇子は、高倉天皇に皇子が生まれない場合の控えとして養育されていたと推測される。
後白河法皇は、成人した高倉天皇が政務を行うようになると自らの発言力が著しく制限されることから、早期の譲位を望んでいた。清盛にすれば、徳子に皇子が生まれる前の譲位は絶対に容認できることではなかった。当時、院政を行うことができたのは天皇の直系尊属に限定されていたので、時忠らが連れてきた皇子が高倉天皇の猶子となったのは高倉天皇の発言力保持のために必要な措置であり、後白河法皇と清盛の対立を防ぐための妥協策でもあった。しかし、これは問題の先延ばしに過ぎず、高倉天皇を擁する平氏と後白河法皇の下に結集する院近臣の対立は避けられないものとなっていった。
安元3年（1177年）4月、延暦寺が加賀守・藤原師高の流罪を要求して強訴を起こす。師高の父は院近臣・西光であり、後白河法皇は強硬な態度で臨んだ。防御に当たった重盛の家人が神輿を射たことから、事態は悪化の一途をたどる。『平家物語』によれば、時忠は事態収拾のために延暦寺に乗り込んで交渉に当たり、激昂する大衆に「衆徒の濫悪をいたすは魔縁の所行なり、明王の制止を加ふるは善逝の加護なり」と紙に書いて渡し、その怒りを鎮めたという。この話は他に資料の裏付けがないので、事実かどうか定かでない。実際には、師高の配流・神輿を射た重盛家人の投獄という延暦寺側の要求を、全面的に受諾することで決着がつけられている。
その後、後白河法皇は天台座主・明雲の処罰を強行し、院と延暦寺の抗争が再燃する中で鹿ケ谷の陰謀が勃発する。西光・成親が殺害されたことで手足をもがれた形の後白河院政は平氏への屈服を余儀なくされる。清盛にしても高倉に皇子が生まれない段階ではそれ以上の措置を講じることはできず、情勢は膠着状態となった。
安徳帝の誕生と高倉院政
治承2年（1178年）5月24日、時忠は徳子の懐妊が確実なことを高倉天皇に奏上した。7月24日に四条隆季が娘の死により中宮大夫を辞任したことで、26日に中宮大夫に昇格する。11月12日、徳子は皇子（言仁親王、後の安徳天皇）を出産し、時忠の妻・領子が乳母となった。清盛は皇子を皇太子にすることを後白河法皇に迫り、12月には早くも立太子の儀式が行われる。東宮傅は左大臣・大炊御門経宗、春宮坊は大夫・平宗盛、権大夫・花山院兼雅、亮・平重衡、権亮・平維盛という陣容であり、後白河法皇の近臣は排除された。
さらに清盛は、摂関家領を奪われたことで平氏に敵愾心を燃やす関白・松殿基房を後白河院から切り離して自派に引き入れるために、基房の妻（花山院忠雅の娘）も乳母に迎えようとした。これに対して時忠は、執政の室が乳母になるなど聞いたことがないと主張して強く反対した。自らの妻が乳母であることから関白の妻を近づけたくなかったためと思われるが、時忠が必ずしも清盛の意向に沿って動いていなかったことを示している（結局、基房の妻も2月には乳母となる）。
治承3年（1179年）正月7日、時忠は正二位に叙せられ、19日には史上初めて三回目の検非違使別当に補された。前任者の中山忠親は「希代の例なり」 と驚愕し、九条兼実は「物狂いの至りなり、人臣の所為にあらず」 と激しく非難している。鹿ケ谷の陰謀で検非違使の惟宗信房・平資行・平康頼が陰謀に加担していたことから、検非違使庁改革のため経験豊富な時忠に白羽の矢が立てられたと推測される。
6月に平盛子、7月に平重盛が相次いで死去したのを機に、後白河法皇は盛子の荘園・重盛の知行国を没収し、清盛の支援する近衛基通を無視して松殿基房の子・師家を権中納言にした。激怒した清盛は11月14日にクーデターを起こし、反平氏公卿・院近臣の大量解官が断行された（治承三年の政変）。堂上平氏からは親宗・時家・基親が解官の対象となり、大きな打撃を受けた。建春門院在世中は結束していた堂上平氏も、分裂状態にあったことをうかがわせる。時忠の管轄していた検非違使庁からも大江遠業・平資行・藤原信盛が解官となり、欠員補充として藤原景高・伊藤忠綱・藤原友実・源光長が新たに任じられた。
後白河法皇は鳥羽殿に幽閉状態となり、高倉天皇が親政をとることになった。翌年2月、言仁親王の践祚とともに院庁が設置され、執事別当には四条隆季が就任する。時忠も高倉上皇の伯父・安徳天皇の乳父（めのと）の立場から別当の一員として、政務に未熟な高倉上皇を補佐することになった。高倉院政が開始されたものの、クーデターで成立した政権であるため平氏の軍事力に支えられている面が大きく、その正統性に疑問があった。しかも清盛の強い要請により、高倉上皇が譲位後すぐに厳島神社に参詣したことが、延暦寺・園城寺・興福寺など伝統的寺院勢力の危機感を煽ることになった。不穏な空気が流れる中で、5月に以仁王が挙兵する。支援したのは二条天皇の准母・八条院で、後白河法皇と密接につながる園城寺、関白配流に反発する興福寺も同調したことから、新政権にとって大きな脅威となった。反乱が鎮圧された後、清盛は突如として福原行幸を強行する。
福原行幸と反乱の激化
6月2日、安徳天皇・高倉上皇・後白河法皇は福原に向かった。随行したのは平氏一門および親平氏貴族・実務官僚で、時忠も天皇の行幸の列に加わった。福原到着後に遷都が議論され、輪田を新都建設地とすることが決まった。ところが場所が狭いことから計画は白紙となり、昆陽野（こやの）・印南野（いなみの）が代替地として候補に上がったものの、7月にはどちらの案も立ち消えとなってしまう。結局、福原を暫定的な皇居とすることに落ち着くが、準備不足と混乱から遷都反対の意見も出始める。高倉上皇の体調不良もあり、時忠と隆季は清盛に還都を申し入れるが、一蹴されてしまう。
高倉上皇はやむを得ず内裏造営命令を出し、時忠も議定で方角の禁忌が問題になると反対意見を封殺するなど、強引な手法をとっている。時忠は福原に邸宅を持っていなかったので、新たに土地を与えられた。8月25日、娘婿の中山忠親とともに福原の都市計画図を確認し、10月8日、邸宅の造作について意見交換をしている。
内裏や貴族の邸宅も徐々に整備されて遷都も軌道に乗るかと思われたが、8月になってから全国各地で反乱が頻発していた。そして10月21日に富士川の戦いで追討軍が大敗したことにより、還都論が再燃することになる。
まず宗盛が還都を進言して、清盛と激しい口論に及ぶ。東海道諸国が反乱軍の手の中に落ちていく状況の中で、11月6日、時忠は美濃国を東国に対する防衛線とするため、美濃源氏に宣旨を下して味方につける案を出す。美濃源氏の源光長は検非違使で、時忠とは上司と部下の関係であった。しかし清盛は時忠の案を無視して、美濃源氏討伐のため私郎従（直属の精鋭部隊）を派遣する。
この結果、美濃国は動乱状態となり戦禍は近江国にまで波及する。延暦寺も「還都をしなければ、山城・近江両国を横領する」と強迫的な態度をとっており、情勢は予断を許さないものとなった。
11月12日、清盛は還都に同意するが、時忠は難色を示した。
近江国では反乱軍との戦闘が激化していて、何らかの対策をとって安全が確保されなければ京都に戻るのは危険と判断したためと推測される。時忠は、高倉院の意向を無視する清盛の独裁と強硬路線が事態の悪化に拍車をかけていると分析し、還都後に公卿議定を開いて対応策を打ち出そうと考えていたらしい。11月22日、高倉上皇の命を奉じた時忠は天台座主・明雲を通して、日吉社・延暦寺領荘園に対して還都と引き換えに反乱軍の防御・掃滅に当たることを指示した。延暦寺側との合意成立により、翌23日に還都が行われた。
11月30日、東国逆乱についての公卿議定が開かれた。徳大寺実定の「近江の賊徒を平定すれば、美濃以下も帰伏する」という意見が賛同を集め、追討が本格化することになる。12月には反乱対策として、公卿層に対する武力の供出・諸国からの兵糧米徴収 が相次いで実施されるが、時忠はこれらの政策の立案・実行に深く関与していた。これらの措置と平氏軍の反撃により、畿内周辺の反乱はひとまず沈静化した。
後白河院政の再開
高倉上皇の病状は還都の時には相当重篤な状態なっており、翌治承5年（1181年）正月14日、21歳で崩御する。時忠は近臣の一人として素服を賜与された。時忠は高倉上皇の権威により政治的地位を築き上げてきたため、その早過ぎる死は大きな痛手だった。高倉上皇崩御後の政治体制は、幼児の安徳帝が政務を執ることができない以上、もはや後白河法皇の院政再開しか残されていなかった。このような状況の中で時忠は、かつて高松院の所有だった荘園を高倉上皇の遺言と称して強引に中宮・徳子に相続させる。後白河法皇はこの措置に対して、不快感を露わにしたという。
時忠は高倉院庁の別当として実務を取り仕切っていたため、このような措置をとることが可能だった。時忠の意図は、高倉上皇崩御後に避けられなくなる後白河法皇の政治力増大を食い止めると同時に、徳子の経済基盤を強化することで間接的に自らの発言力を保持することにあったと推測される。時忠は中宮大夫であり、同年11月25日に徳子が院号宣下を受けた後も、引き続いて建礼門院別当として徳子を補佐する立場にあった。
清盛も後白河院政再開をただ手をこまねいて見ていたわけではなく、院近臣の解官・畿内惣官職の設置など矢継ぎ早に対策を講じていたが、閏2月4日に死去した。後継者の平宗盛は院政再開を認めて後白河法皇に恭順する姿勢を見せる一方で、平氏の存立基盤である軍事・警察権は断固として手放さず、後白河法皇の宥和策を退けて東国追討を続行した。このため、後白河法皇と宗盛の間には深い溝が生じることになる。法皇と平氏の間にはもともと解消することのできない対立があったが、かつては建春門院が調整役を果たしていた。時忠は国母である徳子に建春門院と同様の役割を期待し、承安年間の政治体制の再現を目指していたと思われる。
しかし徳子は後白河法皇の養女であり、最初からその立場は弱かった。また、徳子自身も積極的に自らの意思を示す性格ではなかったため、彼女に建春門院の代わりを求めるのは無理があった。さらに周囲の状況も、以前と大きく変化していた。各地では反乱の火の手が燃え盛り、後白河法皇も院政停止・幽閉を経たことで平氏に不満を通り越して憎しみを抱いていた。法皇はすでに平氏に見切りをつけて、独自に頼朝と和平交渉を始めていた。
時忠は5月に母が死去したことで、服喪のため検非違使別当を辞職する。時忠の政治的地位はしだいに後退していった。
4月になると後白河院は、安徳天皇を八条の平頼盛邸から閑院内裏に遷す。また、安徳天皇の准母には清盛の後押しで近衛通子（基実の娘）が選ばれていたが、寿永元年（1182年）8月、後白河法皇は第一皇女・亮子内親王を新たに准母として送り込み皇后とした。いずれも安徳天皇を平氏の手から引き離す方策であり、後白河法皇の影響力は確実に強まっていった。ただし九条兼実に代表される貴族層は日和見的態度をとっていたため、法皇も一挙に主導権を握ることはできなかった。法皇と平氏の関係は一種の均衡状態となり、時が過ぎていった。
しかし、それはつかの間の平穏だった。軍事面において平氏は墨俣川の戦いに勝利した後は、養和の大飢饉の影響もあって戦線を維持するのが精一杯であり、内外に敵を抱えた平氏政権はしだいに疲弊していく。寿永2年（1183年）正月、時忠は権大納言となるが政権の崩壊は間近に迫っていた。
一門都落ち
寿永2年（1183年）5月、平氏の北陸追討軍が木曾義仲に撃破されたことで（倶利伽羅峠の戦い）、今まで維持されてきた軍事バランスは完全に崩壊した。7月22日、義仲軍は延暦寺にまで到達したため、議定が開かれて対策が協議される。24日、安徳天皇は院御所・法住寺殿に行幸し、時忠も供奉した。京都防衛を断念した宗盛は、勢力挽回のために後白河法皇・安徳天皇らを奉じて西国に下向する準備を進めていた。25日未明、平氏の意図を察した法皇は、法住寺殿から比叡山に脱出する。宗盛はやむを得ず、安徳天皇と二宮（高倉の第二皇子・守貞親王、後の後高倉院）だけを連れて都を退去した。時忠は閑院内裏に向かい、内侍所（神鏡）を取り出してから都落ちに同行した。貴族は続々と後白河法皇の下に集結し、親平氏派の筆頭である摂政・近衛基通や一門の頼盛も京都に残留する。安徳天皇および平氏に付き従った貴族は、わずかに時忠・時実・信基・藤原尹明に過ぎなかった。
27日、後白河法皇は都に戻り、翌日に開かれた議定において平氏追討が決定した。8月6日に平氏一門は一斉に解官されるが、法皇は安徳天皇の帰京・神器の返還を交渉するため、時忠の解官は見送っている。もっとも交渉は不調に終わったらしく、16日には時忠も解官となった。法皇にとって平氏が安徳天皇を連れて逃げていったのは不幸中の幸いであり、平氏の占めていた官職・受領のポストに次々と院近臣を送り込んで政治の主導権を確立すると、8月20日、都に残っていた四宮（高倉の第四皇子・尊成親王、後鳥羽天皇）を践祚させた。この知らせを聞いた平氏の人々は「三宮、四宮も引き連れていくべきだった」と悔しがるが、時忠は「その場合は、義仲が擁立している以仁王の皇子（北陸宮）が皇位につくだけのことだ」と冷めた見方をしている。
元暦元年（1184年）2月7日、平氏は一ノ谷の戦いで大敗する。この戦いの後、法皇が神器の返還を求めて派遣した御坪の召次・花方という使者に、時忠が「浪方」という焼印を顔面に押して追い返したという逸話が『平家物語』「請文」の段にある。花方については、語り本系には見られるが読み本系の古態とされる延慶本には記されていないこと、院宣の使者としては身分が低すぎることから創作の可能性もある。ただし、『山槐記』に誰の手によるか不明だが院の使者が平氏によって面に印を着けられたとあり、平氏による苛烈な使者への仕打ちは事実と思われる。一ノ谷の戦いの敗因には、後白河による虚偽の和平提案・源氏の不意打ちがあったとされ、平氏の後白河法皇への恨みは激しいものがあった。平氏はこの敗戦の打撃からついに立ち直れず、翌元暦2年（1185年）3月24日、壇ノ浦の戦いで壊滅した。
義経への接近
時忠は壇ノ浦で捕虜となり、4月26日に入洛した。時忠は神鏡を守った功績により減刑を願い、娘（蕨姫）を源義経に嫁がせることで庇護を得ようとした。時忠の娘と義経の婚姻について『平家物語』は機密文書の奪取が狙いだったとするが、義経が承諾した理由は不明確である。義経は検非違使として都の治安を担っていたので、長期に渡り検非違使別当を務めて警察権を握っていた時忠の地位を継承しようとしたのではないか、という指摘もある。5月20日、捕虜となった人々の罪科が決定し、時忠・時実・信基・藤原尹明・良弘・全真・忠快・能円・行命の9名が流罪となった。時忠は神鏡を守った功績により死罪一等を減じられたとされるが、武士ではなく文官であり死刑が予定されていたかは疑問である。
鎌倉に向かった義経が帰京してから配流が執行される予定だったが、この頃から義経と頼朝の間に不和が発生し、『愚管抄』には「関東ガ鎌倉ノタチヘクダリテ、又カヘリ上リナドシテ後、アシキ心出キニケリ」とあり、義経はしだいに鎌倉の統制から外れていく。8月中旬には時忠・時実を除く7名が配地に下るが、時忠・時実は義経の庇護を受けて都に残留していた。義経の動きに不信感を抱いた頼朝は、梶原景季を派遣して時忠・時実がいまだに在京していることを咎め、朝廷には配流の速やかな執行を言上した。9月23日、時忠は情勢の悪化を悟り、配流先の能登国に赴いた。『平家物語』では都を離れる前に建礼門院に別れの挨拶をしていることから、ある程度の行動の自由は認められていたようである。
10月13日、義経は後白河法皇に頼朝追討の宣旨を下すことを要請した。後白河法皇は躊躇するが左大臣・大炊御門経宗の意見により、18日、頼朝追討の宣旨を出す。しかし義経に従う武士は少なく、兵は思い通りに集まらなかった。11月3日、義経は都を退去して再起を図ろうとしたが、あえなく自滅する。時実は義経に同行したが捕らえられ、翌元暦3年（1186年）正月に上総国に配流された。
終焉
当時の能登守は松殿基房の寵臣・藤原顕家であり、能登国は基房の知行国だった。基房は反平氏的人物だったが正室は花山院兼雅の姉妹であり、顕家の従兄弟には藤原隆房がいた。彼ら親平氏貴族の働きかけにより、時忠は配地では丁寧に遇されていたようである。また、都に残された時忠の家族にも特に圧迫が加えられた様子はない。時忠の邸宅は一旦は没収されて平家没官領となったが、頼朝は時忠の家族をそのまま居住させた。娘の宣子は後鳥羽天皇の典侍となっている。後の建久6年（1195年）3月に頼朝が上洛した時、時忠邸は若宮供僧の宿坊となった。領子と帥典侍尼（宣子）が鎌倉の頼朝に愁状を出したところ、頼朝は後鳥羽天皇や吉田経房に配慮したらしく収公を差し止め、時忠の遺族に返還している。
文治5年（1189年）2月24日、時忠は能登国の配地で生涯を終えた。墓は石川県珠洲市大谷町則貞の国道249号傍にあり、石川県指定史跡となっている。同年5月、奥州藤原氏の追討宣旨を要求する頼朝に、後白河院は配流されている時実らの赦免を申し入れる。頼朝はこの要請を受け入れ、時実らは帰京した。
時忠の母について
『公卿補任』の時忠の項に母の記載はなく、弟・親宗の項に「母同時忠卿」とある。『尊卑分脈』の時忠の項にも母の記載はなく、親宗の項に「母大膳大夫藤家範女」とある。親宗の隣にある時子の項には「母同」と記されている。
『尊卑分脈』の藤原道隆流・藤原家範女の項には「美福門院女房少将局平親宗母」とある。ところが藤原基隆（家範の子）女の項にも、同じく「美福門院女房少将局平親宗母」という記述がある。一方、勧修寺流・能円（藤原顕憲の子）の項には、「母官女二条大宮半物大納言時忠并従二位時子同母」と記されている。このように『公卿補任』『尊卑分脈』の各記事には、混乱と矛盾が見られる。
まず、親宗の母「美福門院女房少将局」が家範の娘と基隆の娘のどちらであるか、という問題がある。これについては、家範（1048年生まれ）の娘が美福門院（1117年生まれ）に女房として仕え、親宗（1144年生まれ）を産んだとするのは年代的に合わないため、基隆（1075年生まれ）の娘とするのが妥当と思われる。
次に、能円の母「官女二条大宮半物」が親宗の母・藤原基隆女と同一人物であるか、という問題がある。半物は女房と雑仕女の中間の身分と推測されるので、公卿になった基隆の娘が半物であったとは考えにくい。また、時忠・時子と親宗の母が同じだとすると、基隆女の項に親宗の名だけが記され、時忠・時子の名が欠けていることが不審といえる。時忠・時子と親宗の年齢差も大きく、母は別人である可能性が高い。