A.- Mit Verfügungen vom 21. April 1998 setzte die Ausgleichskasse des Kantons Zürich die Altersrenten von F._ und M._ (geboren am 20. Februar 1932 respektive am 2. Mai 1933) ab 1. Juni 1998 fest.
B.- Die dagegen erhobene Beschwerde hiess das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 31. Oktober 2000 in dem Sinne teilweise gut, dass es die Sache an die Ausgleichskasse zurückwies, damit sie die Altersrenten im Sinne der Erwägungen neu festsetze.
C.- Die Ausgleichskasse führt Verwaltungsgerichtsbeschwerde mit dem Antrag, der kantonale Entscheid sei aufzuheben.
Während F._ und M._ auf Abweisung der Verwaltungsgerichtsbeschwerde schliessen lassen, beantragt das Bundesamt für Sozialversicherung (BSV) deren Gutheissung.

Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Die Vorinstanz hat die gesetzlichen Bestimmungen über die Berechnung von Altersrenten zutreffend dargelegt, worauf verwiesen wird. Sodann hat die Vorinstanz richtig ausgeführt, wann ausländische Studierende beitragsbefreit und wann beitragspflichtig sind. Auch die Rechtsprechung zum Grundsatz von Treu und Glauben (<ref-ruling> Erw. 2a mit Hinweisen) ist korrekt wiedergegeben.
2.- Streitig und zu prüfen ist einzig, wie es sich mit der für die Berechnung der Altersrenten relevanten Beitragslücke des Beschwerdegegners M._ in den Jahren 1955 bis 1959 verhält. Dieser reiste unbestrittenermassen 1946 als japanischer Staatsangehöriger in die Schweiz ein.
Von Oktober 1953 bis September 1960 studierte und doktorierte er an der ETH. Dabei übte er in den Jahren 1953 und 1954 noch eine Erwerbstätigkeit aus, hernach bis 1960 nicht mehr. Gemäss den Akten entrichtete er für das Wintersemester 1953/54 den AHV-Mindestbeitrag von Fr. 6.-, den die ETH ihm jedoch am 20. April 1954 wieder zurückbezahlte.
In einer Auskunft vom 6. Mai 1998 hielt die Anstalt fest, ausländische Studierende seien nicht ahv-pflichtig und dürften auch keine Beiträge entrichten.
a) Die Vorinstanz erwog, zwar seien ausländische Studierende, welche sich ausschliesslich zu Studienzwecken in der Schweiz aufhielten und hier weder eine Erwerbstätigkeit ausübten noch Wohnsitz begründeten, nach <ref-law> in Verbindung mit <ref-law> der Beitragspflicht nicht unterstellt. Der Beschwerdegegner falle aber nicht unter diese Befreiung, habe er doch seit 1946 schweizerischen Wohnsitz verzeichnet. Wenn die ETH ihm die im ersten Semester bezahlten AHV-Beiträge zurückerstattet habe, dürfe dies darauf zurückzuführen sein, dass sie ihn irrtümlicherweise als nicht beitragspflichtigen ausländischen Studenten erfasst habe. Für den Beschwerdegegner habe kein Anlass bestanden, das Vorgehen der ETH zu hinterfragen, zumal er andere, 1953 und 1954 bezahlte Beiträge seinen damaligen Erwerbstätigkeiten habe zuschreiben können.
Die Vorinstanz erblickte im Verhalten der ETH einen Gutglaubenstatbestand, weshalb die Beitragslücke von 1955 bis 1959 zu schliessen sei.
b) Dem widerspricht die Beschwerde führende Ausgleichskasse, indem sie geltend macht, bereits in den 50er Jahren seien an der ETH viele ausländische Studenten immatrikuliert gewesen, welche entweder in der Schweiz oder im Ausland Wohnsitz begründet hätten. Das Problem ihrer Beitragspflicht bzw. -befreiung sei schon damals hinlänglich bekannt gewesen. Die Rückzahlung der Beiträge beruhe deshalb mit überwiegender Wahrscheinlichkeit darauf, dass der Beschwerdegegner die ETH im Glauben gelassen habe, er befinde sich nur zu Studienzwecken in der Schweiz. Es sei daher diesem anzulasten, dass die Anstalt ihn fälschlicherweise von der Beitragspflicht befreit habe, weshalb kein Gutglaubenstatbestand vorliege. Zudem fehle jeglicher Hinweis dafür, dass der Beschwerdegegner sich damals wegen der Rückzahlung des Beitrags fürs erste Semester an die ETH gewendet und von dieser eine falsche Auskunft erhalten hätte.
Ein solcher Beweis sei heute nicht mehr zu erbringen. Die Folgen dieser Beweislosigkeit habe der Beschwerdegegner zu tragen.
c) Das BSV bringt vor, die Lehranstalt übe bei den AHV-Beiträgen ausschliesslich die Funktion einer Inkassostelle aus. Sie sei jedoch nicht verpflichtet, die Studierenden über das ahv-rechtliche Beitragsstatut zu informieren.
Sofern dem Beschwerdegegner seitens der ETH tatsächlich unrichtige Auskünfte erteilt worden wären, was nicht feststehe, vermöchten diese ohnehin keinen Vertrauensschutz zu begründen. Bei Unklarheiten müssten die Studenten sich an die Ausgleichskasse wenden. Wüssten sie nicht ausreichend Bescheid, könnten sie nicht aus ihrer Rechtsunkenntnis etwas zu ihren Gunsten ableiten. Der Beschwerdegegner hätte bei der ihm zumutbaren Aufmerksamkeit feststellen müssen, dass er nicht, wie die Mehrheit seiner Kommilitonen, über die ETH Beiträge abrechnete, und an die Ausgleichskasse gelangen müssen.
d) Der Beschwerdegegner lässt geltend machen, die Auskunft der ETH vom 6. Mai 1998 unterscheide nicht zwischen beitragspflichtigen und beitragsbefreiten ausländischen Studenten. Es sei nicht erwiesen, dass die Anstalt in den 50er Jahren über dieses Problem Bescheid gewusst habe. Immerhin habe er für das erste Semester Beiträge bezahlt. Die Rückerstattung durch die ETH sei offensichtlich deshalb erfolgt, weil diese ihn wegen seiner ausländischen Nationalität für beitragsbefreit hielt.
3.- a) Es steht fest, dass der Beschwerdegegner in den Jahren 1955 bis 1959 trotz seiner ausländischen Staatsangehörigkeit aufgrund seines Wohnsitzes versichert und beitragspflichtig war. Ebenso ist erstellt, dass er für das erste Semester an der ETH (Winter 1953/54) den Mindestbeitrag bezahlt, von der Lehranstalt jedoch am 20. April 1954 wieder zurückerstattet erhalten hatte. Weshalb die ETH diese Rückzahlung vornahm, ist nicht mehr mit Sicherheit zu eruieren. Das Schreiben der Anstalt vom 6. Mai 1998 spricht aber zu Gunsten des Beschwerdegegners, unterscheidet die ETH doch darin gerade nicht zwischen beitragspflichtigen und -befreiten ausländischen Studierenden, sondern hält pauschal und insofern unrichtig fest, dass solche Studenten nicht ahv-pflichtig seien und keine Beiträge entrichten dürften. Wenn die ETH noch 1998, 50 Jahre nach Einführung der AHV, solche undifferenzierten, in ihrer pauschalisierenden Weise unrichtigen Auskünfte über den Status ausländischer Studenten erteilt, ist nicht anzunehmen, dass dies 1953/54, in den Anfangsjahren des AHV-Vollzuges, anders war. Die am 20. April 1954 erfolgte Rückzahlung weist die Unrichtigkeit des im Falle des Beschwerdegegners erfolgten Administrativhandelns aus.
b) Es kann daher, entgegen der Ausgleichskasse, nicht davon ausgegangen werden, dass der ETH die Unterscheidung zwischen beitragspflichtigen und -befreiten ausländischen Studenten geläufig war. Ob der Beschwerdegegner sich damals an die Hochschule gewendet, ihr seine Situation nicht genügend detailliert geschildert und/oder von ihr falsche Auskünfte erhalten hat, lässt sich angesichts der seither vergangenen Jahre ebenfalls nicht mehr ermitteln. Diese Frage kann aber aus folgenden Gründen offen bleiben: Indem der Beschwerdegegner den Beitrag für das erste Semester entrichtete, bezeugte er seinen Willen, weiterhin in der AHV versichert zu bleiben. Das Verhalten der ETH (Rückzahlung der Beiträge) durfte er als schlüssiges Zeichen dafür werten, dass er wirklich nicht beitragspflichtig sei. Da er die Beiträge für sein erstes Semester bei der Anstalt einzahlen musste und auch von dieser zurück erhielt, konnte er in guten Treuen davon ausgehen, dass die ETH für diese Angelegenheit zuständig sei. Bei einer Institution, die AHV-Beiträge einzieht, durfte er ferner voraussetzen, dass sie die entsprechenden Regelungen kenne. Entgegen dem BSV war für ihn weder offensichtlich, dass die Ausgleichskasse zuständig sei, noch bestand für ihn bei den konkreten Gegebenheiten hinreichender Anlass, sich zusätzlich an diese zu wenden. Ebenso wenig ist ihm ein Vorwurf zu machen, wenn er in den folgenden Semestern nicht mehr versucht hat, den Mindestbeitrag zu bezahlen. Angesichts der komplizierten Vorschriften war nicht leicht zu erkennen, dass es sowohl beitragsbefreite als auch beitragspflichtige ausländische Studenten gab. Ein Vergleich mit andern ausländischen Kommilitonen musste ihn nicht zwingend auf die richtige Spur bringen, da solche Studenten teilweise beitragsbefreit waren oder während des Studiums einer Erwerbstätigkeit nachgingen und somit in keiner vergleichbaren ahv-rechtlichen Situation standen. Unerheblich ist schliesslich, ob die ETH eine Informationspflicht gegenüber den Studenten hat oder nicht. Vorliegend ist die Anstalt mit der am 20. April 1954 erfolgten Rückzahlung des Mindestbeitrags selber aktiv geworden und hat damit im Rahmen ihrer Inkassoaufgabe seitens des Beschwerdegegners eine Vertrauensposition begründet, für welche die Ausgleichskasse einzustehen hat.

Demnach erkennt das Eidg. Versicherungsgericht:
I.Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
II.Es werden keine Gerichtskosten erhoben.
III. Die Ausgleichskasse des Kantons Zürich hat den Beschwerdegegnern für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Parteientschädigung
von Fr. 1499. 75 (einschliesslich Mehrwertsteuer) zu
bezahlen.
IV.Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 19. September 2001
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der II. Kammer:
Der Gerichtsschreiber: