Sachverhalt:
A.
Der im Dezember 1950 geborene A._ ersuchte im September 2018 die Alters- und Hinterlassenenversicherung (AHV) um eine Vorausberechnung seiner Altersrente, wobei er bekanntgab, dass er die Rente um drei Jahre aufschieben wolle. Mit Schreiben vom 11. September 2018 wies die Ausgleichskasse des Kantons Zürich den Versicherten darauf hin, dass er das ordentliche Rentenalter bereits im Dezember 2015 erreicht und somit den Rentenaufschub nicht fristgerecht geltend gemacht habe. Im Juni 2019meldete sich A._ zum Bezug einer Altersrente mit Rentenaufschub an. Mit Verfügung vom 21. August 2019 wies die Ausgleichskasse das Gesuch um Rentenaufschub inklusive Aufschubszuschlag ab. Daran hielt sie mit Einspracheentscheid vom 4. Oktober 2019 fest. Sodann sprach sie A._ mit Verfügung vom 12. November 2019 eine monatliche Altersrente von Fr. 961.- ab dem 1. Januar 2016 resp. von Fr. 970.- ab dem 1. Januar 2019 zu.
B.
Mit Beschwerde gegen den Einspracheentscheid vom 4. Oktober 2019 verlangte A._ den Aufschub der Altersrente bis zur Vollendung des 70. Altersjahres. Das Sozialversicherungsgericht des Kantons Zürich wies das Rechtsmittel mit Entscheid vom 23. Juni 2020 ab.
C.
A._ beantragt mit Beschwerde in öffentlich-rechtlichen Angelegenheiten, unter Aufhebung des Entscheids vom 23. Juni 2020 sei ihm der Aufschub der ordentlichen AHV-Altersrente bis zur Vollendung des 70. Lebensjahres und ab dann die Altersrente mit dem Gegenwert der nicht bezogenen Leistung ("Aufschubszuschlag") zu gewähren.

Erwägungen:
1.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann eine Rechtsverletzung nach Art. 95 f. BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Dennoch prüft es - offensichtliche Fehler vorbehalten - nur die in seinem Verfahren gerügten Rechtsmängel (Art. 42 Abs. 1 f. BGG; <ref-ruling> E. 2.2.1 S. 389). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann ihre Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (Art. 97 Abs. 1, Art. 105 Abs. 2 BGG).
2.
Der Anspruch auf die Altersrente der Alters- und Hinterlassenenversicherung (AHV) entsteht am ersten Tag des Monats, welcher bei Männern der Vollendung des 65. Altersjahres folgt (<ref-law>). Personen, die Anspruch auf eine ordentliche Altersrente haben, können den Beginn des Rentenbezuges mindestens ein Jahr und höchstens fünf Jahre aufschieben und innerhalb dieser Frist die Rente von einem bestimmten Monat an abrufen (<ref-law>). Die aufgeschobene Altersrente und die sie allenfalls ablösende Hinterlassenenrente wird um den versicherungstechnischen Gegenwert der nicht bezogenen Leistung erhöht (<ref-law>). Der Bundesrat setzt die Erhöhungsfaktoren für Männer und Frauen einheitlich fest und ordnet das Verfahren. Er kann einzelne Rentenarten vom Aufschub ausschliessen (<ref-law>).
Die Aufschubsdauer beginnt vom ersten Tag an zu laufen, der dem Monat folgt, in welchem das Rentenalter nach <ref-law> erreicht wurde. Der Aufschub ist innert eines Jahres vom Beginn der Aufschubsdauer an schriftlich zu erklären. Ist innert Frist keine Aufschubserklärung erfolgt, so wird die Altersrente nach den allgemein geltenden Vorschriften festgesetzt und ausbezahlt (<ref-law> [SR 831.101]).
3.
3.1. Es steht fest und ist unbestritten, dass der Versicherte gegenüber der AHV den Aufschub seiner Altersrente erstmals im September 2018 (mit dem Gesuch um Rentenvorausberechnung) thematisiert und somit nicht innert der Ende 2016 abgelaufenen Frist von <ref-law> schriftlich erklärt hat.
3.2.
3.2.1. Der Beschwerdeführer stellt die von der Vorinstanz bejahte Rechtmässigkeit der in <ref-law> statuierten Frist in Abrede.
3.2.2.
3.2.2.1. Das Gesetz ist in erster Linie nach seinem Wortlaut auszulegen (Auslegung nach dem Wortlaut). Ist der Text nicht ganz klar und sind verschiedene Auslegungen möglich, so muss der Richter unter Berücksichtigung aller Auslegungselemente nach der wahren Tragweite der Norm suchen. Dabei hat er insbesondere den Willen des Gesetzgebers zu berücksichtigen, wie er sich namentlich aus den Gesetzesmaterialien ergibt (historische Auslegung). Weiter hat der Richter nach dem Zweck, dem Sinn und den dem Text zugrunde liegenden Wertungen zu forschen, namentlich nach dem durch die Norm geschützten Interesse (teleologische Auslegung). Wichtig ist auch der Sinn, der einer Norm im Kontext zukommt, und das Verhältnis, in welchem sie zu anderen Gesetzesvorschriften steht (systematische Auslegung). Das Bundesgericht befolgt bei der Auslegung von Gesetzesnormen einen pragmatischen Methodenpluralismus und lehnt es ab, die einzelnen Auslegungselemente einer Prioritätsordnung zu unterstellen (<ref-ruling> E. 4.5.1 S. 228; <ref-ruling> E. 4.3.1 S. 101; je mit Hinweisen).
3.2.2.2. Das Bundesgericht kann Verordnungen des Bundesrates vorfrageweise auf ihre Gesetzes- und Verfassungsmässigkeit prüfen. Bei unselbständigen Verordnungen, die sich auf eine gesetzliche Delegation stützen, geht es in erster Linie darum zu beurteilen, ob sich der Bundesrat an die Grenzen der ihm im Gesetz eingeräumten Befugnisse gehalten hat. Besteht ein sehr weiter Ermessensspielraum für die Regelung auf Verordnungsebene, muss sich das Gericht auf die Prüfung beschränken, ob die umstrittene Vorschrift offensichtlich aus dem Rahmen der im Gesetz delegierten Kompetenzen fällt oder aus andern Gründen gesetzes- oder verfassungswidrig ist (vgl. <ref-law>). Die verordnete Regelung verstösst gegen das Willkürverbot oder das Gebot der rechtsgleichen Behandlung (Art. 9 und Art. 8 Abs. 1 BV), wenn sie sich nicht auf ernsthafte Gründe stützen lässt, wenn sie sinn- oder zwecklos ist oder wenn sie rechtliche Unterscheidungen trifft, für die sich ein vernünftiger Grund nicht finden lässt. Gleiches gilt, wenn der Verordnungsgeber es unterlässt, Unterscheidungen zu treffen, die richtigerweise hätten berücksichtigt werden sollen. Für die Zweckmässigkeit, namentlich die wirtschaftliche oder politische Sachgerechtigkeit, trägt der Bundesrat die Verantwortung (<ref-ruling> E. 4.1 S. 282 f.; <ref-ruling> E. 4.3 S. 212; <ref-ruling> E. 8.3 S. 478).
3.2.3. Nach dem klaren Wortlaut von <ref-law> hat der Gesetzgeber die Regelung des Verfahrens im Zusammenhang mit dem Rentenaufschub umfassend und ohne Einschränkung an den Bundesrat delegiert ("le Conseil fédéral [...] règle la procédure"; "il Consiglio federale [...] istituisce la procedura"). Vorschriften, wonach ein Recht nur innert einer bestimmten Frist (und allenfalls in einer bestimmten Form) rechtswirksam geltend gemacht werden kann, sind häufig vorkommende verfahrensrechtliche Bestimmungen. So sind etwa <ref-law>, der die Einhaltung von Fristen und daran geknüpfte Rechtswirkungen bei der Geltendmachung eines Anspruchs betrifft, sowie Art. 52 Abs. 1 und Art. 60 Abs. 1 ATSG, die materielle Fristvorgaben enthalten, im 4. Kapitel des ATSG über die "Allgemeinen Verfahrensbestimmungen" eingeordnet. Aus der Botschaft vom 4. März 1968 zum Entwurf eines Bundesgesetzes betreffend Änderung des Bundesgesetzes über die Alters- und Hinterlassenenversicherung und zum Volksbegehren für den weiteren Ausbau von Alters- und Hinterlassenenversicherung und Invalidenversicherung (BBl 1968 I 602) ergibt sich kein Hinweis darauf, dass der Gesetzgeber den Ermessensspielraum des Bundesrats bei der Verfahrensregelung einschränken und die Wahl des Rentenaufschubs unbefristet resp. mindestens bis zum Ablauf der maximalen Aufschubsdauer ermöglichen wollte. Es entspricht denn auch nicht Sinn und Zweck des gesetzlich vorgesehenen Rentenaufschubs, die Versicherten für mehrere Jahre in die Lage zu versetzen, dass sie auf die individuelle Entwicklung ihres Gesundheitszustands reagieren und dementsprechend - rückwirkend - die für sie wirtschaftlich bessere Lösung wählen können, wie die Vorinstanz zutreffend erkannt hat. Zudem lässt sich der versicherungstechnische Gegenwert der nicht bezogenen Leistung und damit der Erhöhungsfaktor (vgl. Art. 39 Abs. 2 und 3 AHVG sowie <ref-law>) nur zuverlässig berechnen, wenn eine Wahl zwischen Nachzahlung oder Zuschlag (ab einem gewissen Zeitpunkt) ausgeschlossen ist (<ref-ruling> E. 2b S. 52; <ref-ruling> E. 1 S. 257).
Nach dem Gesagten respektierte der Bundesrat die Grenzen der gesetzlich delegierten Kompetenz, als er in <ref-law> eine Frist zur Erklärung des Rentenaufschubs statuierte. Die Frist - deren Länge den Rentenaufschub und die damit bezweckten gesetzgeberischen Ziele (vgl. dazu BBl 1968 I 635) nicht verunmöglicht und zu keinen weiteren Bemerkungen Anlass gibt - ist sachlich begründet und entgegen der Auffassung des Beschwerdeführers nicht bloss "toter Formalismus" (vgl. auch BGE <ref-ruling> E. 1 in fine S. 257). Daran ändert nichts, dass die AHV "strukturell immer defizitär ist", wie der Beschwerdeführer vorbringt. Eine Verfassungswidrigkeit - soweit sie überhaupt qualifiziert gerügt wird (vgl. <ref-law>) - im Zusammenhang mit der hier interessierenden Frist ist somit auch nicht erkennbar.
3.3. Sodann erblickt der Versicherte im Umstand, dass er auch nach Erreichen des AHV-Rentenalters weiterhin AHV-Beiträge bezahlt und keine Rente verlangt habe, eine konkludente, aber dennoch verbindliche Erklärung des Rentenaufschubs. Dieser Auffassung kann nicht beigepflichtet werden, wie bereits im Urteil H 196/90 vom 8. August 1991 E. 2c entschieden wurde. Insbesondere setzt der klare Wortlaut (vgl. zu dessen Bedeutung bei der Auslegung vorangehende E. 3.2.2.1) von <ref-law> eine Erklärung in Schriftform ("par écrit", "per iscritto") voraus. Dies dient der Rechtssicherheit und wird denn auch vom Beschwerdeführer nicht substanziiert bestritten (vgl. E. 1).
3.4. Indem der Versicherte schliesslich darlegt, er sei nicht rechtzeitig über die Aufschubsmöglichkeit informiert worden, obwohl die Ausgleichskasse jedem betroffenen Versicherten eine entsprechende Mitteilung "automatisch schreiben und versenden lassen" könnte, macht er sinngemäss eine Verletzung von <ref-law> geltend. Diesbezüglich hat die Vorinstanz zutreffend erkannt, dass nach der Rechtsprechung die Verwaltung nicht verpflichtet ist, von sich aus, ohne entsprechende Nachfrage, jeden Versicherten individuell aufzuklären und zu beraten (Urteil 9C_675/2015 vom 31. Mai 2016 E. 4.2; vgl. auch <ref-ruling> E. 7.2 S. 255; SVR 2012 EL Nr. 15 S. 48, 9C_787/2011 E. 5.2). Ein Grund für eine Praxisänderung (vgl. dazu <ref-ruling> E. 4.4 S. 309; <ref-ruling> E. 5.5.1 S. 303) ist nicht ersichtlich und wird auch nicht geltend gemacht (vgl. E. 1). Weshalb die Verwaltung in concreto - über die allgemeine Informationspflicht hinaus (vgl. <ref-law>; SVR 2007 ALV Nr. 20 S. 64, C 36/06 E. 5.2; AHV Merkblatt 3.04, Leistungen der AHV, Flexibler Rentenbezug) - vor September 2018 einen individuellen Aufklärungsbedarf des Beschwerdeführers hätte erkennen müssen, wird ebenfalls nicht substanziiert dargelegt. Die Beschwerde ist demnach auch in diesem Punkt unbegründet.
4.
Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 17. Dezember 2020
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Parrino
Die Gerichtsschreiberin: Dormann