高政の没後、跡を継いだ高成は寛永9年（1632年）11月7日に急死し、嫡子には3歳の高直しかいなかった。しかし高政の実弟で2000石の領主であった吉安が高成の異母兄高明を擁して異議を唱えたために御家騒動となり、窮した家老が幕府に嘆願して認められ、第3代の家督は高直が継いだ。吉安はこの裁定に不満を持ち、幕府に対して2,000石の所領を返上して幕府直属の旗本となったため、佐伯藩は2,000石を失うことになったが、幕府に御家騒動の印象を与えたくないため従前通りの2万石で押し通した。また吉直の所領である堅田は平野の少ない佐伯では肥沃な地で水の便にも恵まれていたため、以後の佐伯藩は財政難にも悩まされることになる。
幕末、最後の藩主高謙は財政難の中、軍備の近代化を進めた。火薬や大砲を造り、また、佐伯湾内に砲台も築いた。高謙は早くから孝明天皇に拝謁している尊皇派で、慶応年間には朝廷に献上品を差し出しており、早くから朝廷に接近していた。明治2年（1869年）3月4日、版籍奉還を行なった高謙は佐伯知藩事に任命され華族に列した。12月には家老や番頭などの旧職名を廃して大参事、権大参事、小参事などを置く職制改革を行ない、藩士を士族と卒族に分け、俸禄規定も改正した。明治4年（1871年）7月14日、廃藩置県により佐伯県となり、後に大分県に編入された。藩主家は、明治17年（1884年）に子爵となった。
高政の入封当初、佐伯の中心となっていた栂牟礼城は奥まった土地にあったため、これに不便を感じ、番匠川河口の八幡山に新たに佐伯城を築き、麓に城下町を開いた（慶長7年（1602年）着工、慶長11年（1606年）竣工）。佐伯藩領は起伏に富み耕地が少なく農業による収入は少なかった。海岸はリアス式海岸であるため浦が多く、漁業と海上輸送基地の港として活用され、「佐伯の殿様、浦でもつ」という言葉が生まれたほどに藩財政の柱となっていた。また、林業も藩財政を支える収入源の一つであった。慶長19年（1614年）から大坂の役が始まると、高政は冬・夏の陣共に徳川方として参加した。また高政は築城や城下町建設、検地、新田開発など諸政策を断行して藩政の基礎を固めた。
慶長3年（1598年）8月に秀吉が亡くなると高政も日本に帰国した。高政は慶長の役で軍監を勤めた関係から石田三成やその与党である垣見一直と対立しており、また朝鮮では水軍の将を務めた武断派であったことからも三成とは不仲であった。慶長5年（1600年）の関ヶ原の戦いでは、当初こそ西軍に属して丹後田辺城の細川幽斎を攻める軍に参加した（田辺城の戦い）。これは石田三成と不仲ではあったが、西軍の名目上の総大将が自らに毛利姓を与えてくれた毛利輝元だったためといわれる。田辺城は2か月の長期戦の末に開城するが、その3日前に関ヶ原の戦いは終わっていた。高政は盟友の藤堂高虎の説得、九州で留守部隊を率いていた東軍の黒田如水より東軍への勧誘工作もあったため、東軍に寝返った。高虎の取り成しもあり、慶長6年（1601年）4月5日、徳川家康の命令で高政は同じ石高での日田から佐伯栂牟礼城以下2万石に移封され、ここに佐伯藩が成立した。
拓大紅陵高、千葉商科大学を経て、2005年に徳島インディゴソックスに加入。同チーム所属時代には不動の4番打者として、チームを牽引する働きを見せた。2007年、外野手登録となり、チームのキャプテンに就任した。2008年シーズン終了後、日本野球機構に所属するいくつかの球団でテスト受験したものの、獲得に名乗りを挙げるチームが現れなかったため、野球選手としてピリオドを打った。その後、当人の父親が、プロ野球選手の下柳剛が新日鐵君津所属時代に同チームの助監督を務めていたことや、下柳が岡部芳幸（日本競輪学校第66期生）と一緒に自主トレする仲だった縁もあり、岡部に弟子入りして競輪選手を目指すことになった。2009年9月、福島県代表として新潟国体成年男子ケイリンに出場し2位入賞。同種目で優勝した櫻井正孝は、後に日本競輪学校第100期生としてデビューした。同年11月、日本競輪学校第99期生として入学。 在校競走成績は13勝を挙げて第34位。2011年1月12日、日本競輪選手会福島支部所属の競輪選手として、宇都宮競輪場でデビュー。初出走初勝利を挙げた。2012年、1月1日開幕の前々場所の宇都宮、1月25日開幕の前場所の西武園に続き、2月3日、川崎競輪のFII開催でも3連勝完全優勝を果たし、S級特進を果たした。2017年3月、大垣競輪場で行われた水都大垣杯に優勝し、記念競輪（GIII）初優勝。2018年10月、前橋競輪場で行われた寛仁親王牌において、初のGI競走決勝進出（5着）。