Sachverhalt:
A.
Nachdem ein erstes Leistungsbegehren abgewiesen worden war (Verfügung vom 25. Juli 2003), sprach die IV-Stelle Bern dem 1961 geborenen A._ mit Verfügungen vom 8. Juni und 6. August 2007 eine ganze Invalidenrente ab dem 1. April 2005 zu. Im Rahmen eines Revisionsverfahrens ermittelte sie neu einen Invaliditätsgrad von 41 %, weshalb sie mit Verfügung vom 18. Juni 2013 (bestätigt mit Entscheid des Verwaltungsgerichts des Kantons Bern vom 29. November 2013) die frühere ganze Rente auf den 1. August 2013 auf eine Viertelsrente herabsetzte. Im Januar 2015 machte A._ eine Verschlechterung seines Gesundheitszustandes geltend. Nach Abklärungen - insbesondere Einholung des polydisziplinären Gutachtens des Begutachtungszentrums Baselland (BEGAZ) vom 30. Oktober 2019 - und Durchführung des Vorbescheidverfahrens bestätigte die IV-Stelle mit Verfügung vom 15. Januar 2020 den bisherigen Invaliditätsgrad und Rentenanspruch.
B.
Die dagegen erhobene Beschwerde hiess das Verwaltungsgericht des Kantons Bern mit Entscheid vom 23. Juni 2020 teilweise gut. Es änderte die Verfügung vom 15. Januar 2020 insoweit ab, als es dem Beschwerdeführer eine ganze Invalidenrente vom 1. Januar bis zum 31. Oktober 2015 zusprach; im Übrigen wies es die Beschwerde ab.
C.
A._ lässt mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragen, unter Aufhebung des Entscheids vom 23. Juni 2020 sei ihm "weiterhin" eine ganze Invalidenrente zuzusprechen; eventualiter sei die Sache an die IV-Stelle zu neuer polydisziplinärer Begutachtung und zum Zwecke vorgängiger Eingliederungsmassnahmen an die IV-Stelle zurückzuweisen.

Erwägungen:
1.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann eine Rechtsverletzung nach Art. 95 f. BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Dennoch prüft es - offensichtliche Fehler vorbehalten - nur die in seinem Verfahren gerügten Rechtsmängel (Art. 42 Abs. 1 f. BGG; <ref-ruling> E. 2.2.1 S. 389). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann ihre Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG).
2.
Ändert sich der Invaliditätsgrad eines Rentenbezügers erheblich, so wird die Rente von Amtes wegen oder auf Gesuch hin für die Zukunft entsprechend erhöht, herabgesetzt oder aufgehoben (<ref-law> [SR 830.1]). Anlass zur Rentenrevision gibt jede wesentliche Änderung in den tatsächlichen Verhältnissen seit Zusprechung der Rente, die geeignet ist, den Invaliditätsgrad und damit den Anspruch zu beeinflussen. Insbesondere ist die Rente bei einer wesentlichen Änderung des Gesundheitszustandes revidierbar. Liegt in diesem Sinne ein Revisionsgrund vor, ist der Rentenanspruch in rechtlicher und tatsächlicher Hinsicht umfassend ("allseitig") zu prüfen, wobei keine Bindung an frühere Beurteilungen besteht (<ref-ruling> E. 2.3 S. 10 f.).
3.
3.1. Die Vorinstanz hat festgestellt, dass dem Versicherten die angestammte Tätigkeit als Poststellenleiter nicht mehr zumutbar sei; zudem sei er infolge der operativ angegangenen Schulterproblematik vom 10. November 2014 bis zum 17. August 2015 vollständig arbeitsunfähig gewesen. Folglich hat sie in Anwendung von <ref-law> (SR 831.201) den Anspruch auf eine ganze Invalidenrente ab Januar 2015 bejaht.
Sodann hat das kantonale Gericht dem polydisziplinären BEGAZ-Gutachten vom 30. Oktober 2019, worin für angepasste Arbeiten eine Arbeitsfähigkeit von 60 % attestiert wurde, in Bezug auf den medizinischen Sachverhalt Beweiskraft beigemessen. Nach einer Indikatorenprüfung im Sinne von <ref-ruling> hat es einen invalidenversicherungsrechtlich relevanten psychischen Gesundheitsschaden verneint und allein die somatisch begründeten Einschränkungen berücksichtigt. Es hat festgestellt, in einer leidensangepassten Tätigkeit bestehe seit dem 18. August 2015 eine uneingeschränkte Arbeitsfähigkeit. Weiter hat es die Verwertbarkeit der Restarbeitsfähigkeit auf dem Weg der Selbsteingliederung für zumutbar gehalten. Das Valideneinkommen hat es auf Fr. 128'105.15 und das Invalideneinkommen auf Fr. 71'013.45 festgelegt. Beim resultierenden Invaliditätsgrad von 45 % hat es - unter Anwendung von <ref-law> - die ganze Invalidenrente auf den 1. November 2015 auf eine Viertelsrente herabgesetzt.
3.2. Ob die Vorinstanz die Rentenerhöhung mit Blick auf Art. 88a Abs. 2 IVV zu Recht bereits ab Januar 2015 gewährt hat, kann offenbleiben (vgl. <ref-law>). Streitig und zu prüfen ist der Rentenanspruch ab dem 1. November 2015.
4.
4.1. Vorab ist auf Formelles einzugehen. Der Beschwerdeführer verweist auf seine "Ausführungen in der Replik". Soweit diese nicht in die Beschwerdeschrift selbst eingegangen sind, bleiben sie für das Bundesgericht aber unbeachtlich (vgl. <ref-ruling> E. 3.2.2 S. 178 mit Hinweisen; Urteil 9C_760/2019 vom 7. September 2020 E. 4.2). Sodann liegt keine Verletzung des Anspruchs auf rechtliches Gehör resp. der Begründungspflicht vor, wenn eine sachgerechte Anfechtung des vorinstanzlichen Entscheids möglich war (vgl. <ref-ruling> E. 4.3.2 S. 436 mit Hinweisen; Urteil 9C_255/2020 vom 13. August 2020 E. 3.1), was hier zutrifft.
4.2.
4.2.1. Der Beschwerdeführer hält das BEGAZ-Gutachten für widersprüchlich und stellt dessen Beweiskraft in Abrede. Gleichzeitig beruft er sich auf die darin attestierte Restarbeitsfähigkeit von 60 % für einfache, stressfreie Tätigkeiten.
4.2.2. Es liegt kein Widerspruch darin, dass die BEGAZ-Experten den medizinischen Sachverhalt im Vergleich zum Zustand 2013 als unverändert betrachteten, aber infolge "anderslautender Gewichtung" eine Einschränkung der Arbeitsfähigkeit attestierten. Weiter hielt der neurologische BEGAZ-Gutachter den Beizug eines neuroradiologischen Experten nur im Hinblick auf die Frage nach der Unfallkausalität für geboten. Diese ist aber invalidenversicherungsrechtlich nicht von Belang, wie sowohl der Gutachter als auch die Vorinstanz zutreffend erkannte n. Demnach beeinträchtigen die genannten Aspekte die Beweiskraft des BEGAZ-Gutachtens (vgl. <ref-ruling> E. 5.1 S. 232; <ref-ruling> E. 3a S. 352) hinsichtlich des medizinischen Sachverhalts nicht.
4.2.3. Eine andere Frage ist, ob die Vorinstanz zu Recht mit Blick auf die Indikatoren gemäss <ref-ruling> E. 2 S. 285 ff. die invalidenversicherungsrechtliche Relevanz der psychiatrisch/neuropsychologisch attestierten Arbeitsunfähigkeit verneint hat. Diesbezüglich hat sie insbesondere festgestellt, der psychiatrische Experte habe keine depressiven oder (hypo-) manischen Symptome festgestellt und sei deshalb von einer seit langem remittierten affektiven Störung ausgegangen. Der Versicherte nehme seit 2008 keine Psychopharmaka mehr ein. Eine ambulante psychiatrische (psychotherapeutische) Behandlung finde erst seit 2017 und auch nur punktuell statt. Es sei keine Behandlungsresistenz ausgewiesen. Gleiches gelte für die Eingliederungsresistenz: Zwar übe der Versicherte seit der Kündigung Teilzeittätigkeiten aus, aber nicht im Umfang der selbst eingeschätzten oder der medizinisch-theoretisch seit Jahren zumutbaren Arbeitsfähigkeit. Somatisch sei die Arbeitsfähigkeit nur in qualitativer Hinsicht eingeschränkt. Zwar lägen narzisstische Persönlichkeitszüge, aber keine Persönlichkeitsstörung vor. Das weitgehend intakte soziale Umfeld halte Ressourcen bereit. Die angegebenen vielfältigen Freizeitaktivitäten und Fähigkeiten ständen in Kontrast zur stark reduzierten subjektiven Arbeitsfähigkeit und zur tatsächlichen Berufstätigkeit.
In diesem Zusammenhang beschränkt sich der Beschwerdeführer (unter dem Titel "Verbot der juristischen Parallelüberprüfung"; vgl. dazu <ref-ruling> E. 4.3 S. 367 f.) darauf, einzig die Validität der neuropsychologischen Einschränkungen resp. Testungen und die Konsistenz der geltend gemachten Einschränkung mit dem privaten Aktivitätsniveau zu betonen. Damit übt er sich in appellatorischer Kritik, ohne sich substanziiert mit den vorinstanzlichen Feststellungen und rechtlichen Erwägungen auseinanderzusetzen, was nicht genügt (vgl. E. 1). Davon abgesehen sei immerhin erwähnt, dass der Neuropsychologe im BEGAZ-Teilgutachten festhielt, der Versicherte verfüge "über ein gesamthaft durchschnittliches kognitives Leistungsniveau", und dass der fallführende Experte die geklagten Konzentrationsstörungen und Vergesslichkeiten "klinisch absolut nicht" nachvollziehen konnte.
4.3. Nach dem Gesagten bleibt die vorinstanzliche Feststellung einer uneingeschränkten Arbeitsfähigkeit in angepassten Tätigkeiten ab dem 18. August 2015 für das Bundesgericht verbindlich (E. 1).
4.4.
4.4.1. Schliesslich bestreitet der Versicherte im Zusammenhang mit der Rentenherabsetzung unter Berufung auf <ref-ruling> die Zumutbarkeit der Selbsteingliederung.
4.4.2. Bei Personen, deren Rente revisionsweise herabgesetzt oder aufgehoben werden soll, sind nach mindestens fünfzehn Jahren Bezugsdauer oder wenn sie das 55. Altersjahr zurückgelegt haben, praxisgemäss in der Regel vorgängig Massnahmen zur Eingliederung durchzuführen, bis sie in der Lage sind, das medizinisch-theoretisch (wieder) ausgewiesene Leistungspotenzial mittels Eigenanstrengung auszuschöpfen und erwerblich zu verwerten. Ausnahmen von der diesfalls grundsätzlich ("vermutungsweise") anzunehmenden Unzumutbarkeit einer Selbsteingliederung liegen namentlich dann vor, wenn die langjährige Absenz vom Arbeitsmarkt auf invaliditätsfremde Gründe zurückzuführen ist, wenn die versicherte Person besonders agil, gewandt und im gesellschaftlichen Leben integriert ist, oder wenn sie über besonders breite Ausbildungen und Berufserfahrungen verfügt (<ref-ruling> E. 5.1 S. 211 mit Hinweisen). Welches der für die Ermittlung des Eckwerts des 55. Altersjahres massgebliche Zeitpunkt sein soll - der Zeitpunkt der Verfügung (resp. hier des Gerichtsentscheids) selbst, derjenige der darin verfügten Rentenabstufung bzw. -aufhebung oder jener des Feststehens der entsprechenden medizinischen Zumutbarkeit - liess das Bundesgericht in <ref-ruling> E. 5.4 S. 214 offen.
Ob die Vorinstanz zu Recht den Zeitpunkt der Rentenherabsetzung (als der Beschwerdeführer gut 54 Jahre alt war) als entscheidend betrachtet hat, braucht auch hier nicht beantwortet zu werden, wie sich aus dem Folgenden ergibt.
4.4.3. Das Verwaltungsgericht des Kantons Bern stellte in seine m Entscheid vom 29. November 2013 (auf der Grundlage des Gutachtens des Dr. med. B._ vom 6. Mai 2013) eine bereits seit Mai 2010 bestehende uneingeschränkte Arbeitsfähigkeit für angepasste Tätigkeiten fest. Seither übte der Beschwerdeführer - laut verbindlicher Feststellung im angefochtenen Entscheid (vgl. obenstehende E 4.2.3 Abs. 1) - verschiedene Teilzeittätigkeiten aus. Dass er die Restarbeitsfähigkeit nicht resp. nur teilweise ausschöpfte, beruhte somit auf invaliditätsfremden Gründen. Sodann ergibt sich aus dem Hinweis des Neuropsychologen, wonach die Umsetzung der vorhandenen Ressourcen durch ein neuropsychologisches Coaching unterstützt werden "könnte", nichts zu Gunsten des Beschwerdeführers; insbesondere lässt sich daraus nicht schliessen, dass die Verwertbarkeit der Arbeitsfähigkeit bereits aus medizinischen Gründen eine Eingliederungsmassnahme voraussetzte (vgl. SVR 2011 IV Nr. 30 S. 86, 9C_163/2009 E. 4.2.1). Anders als der Beschwerdeführer anzunehmen scheint, stehen ihm nicht nur administrative Arbeiten zur Verfügung, stellte doch die Vorinstanz für das Invalideneinkommen auf den Totalwert für Männer der Lohnstrukturerhebung (LSE) 2014 ab (Tabelle TA1; Kompetenzniveau 2). Auch bei Berücksichtigung des Tabellenlohns im untersten Anforderungsniveau, der eine Vielzahl leichter Tätigkeiten ohne hohe Anforderungen umfasst (vgl. statt vieler Urteil 9C_303/2020 vom 6. August 2020 E. 4.2), würde ein Invaliditätsgrad von 48 % und damit eine Viertelsrente resultieren (vgl. <ref-law>).
Unter den im konkreten Fall gegebenen Umständen hat das kantonale Gericht kein Recht verletzt, indem es die Selbsteingliederung als zumutbar betrachtet hat. Die Beschwerde ist auch in diesem Punkt unbegründet.
5.
Entsprechend dem Ausgang des Verfahrens hat der Beschwerdeführer die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 29. Dezember 2020
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Parrino
Die Gerichtsschreiberin: Dormann