A.- Mit Urteil vom 30. August 1996 (H 177/96) bestätigte das Eidgenössische Versicherungsgericht die Festsetzung der einfachen ordentlichen Altersrente (samt Zusatzrente für die Ehefrau und eine Kinderrente) für A._ (geboren 1930) durch das Verwaltungsgericht von Appenzell A.Rh. (Entscheid vom 13. Dezember 1995) und die Ausgleichskasse des Kantons Appenzell A.Rh. (Verfügung vom 12. April 1995) auf der Grundlage der Bemessungsfaktoren seiner Invalidenrente. Nachdem die Ehefrau (geboren 1935) das Rentenalter erreicht hatte, nahm die Ausgleichskasse des Kantons Appenzell A.Rh. eine Neuberechnung der Altersrenten von A._ und B._ vor (Verfügungen vom 3. Dezember 1997). Das Verwaltungsgericht von Appenzell A.Rh. bejahte mit Entscheid vom 23. September 1998 die Richtigkeit der ermittelten Altersrenten und auferlegte dem Ehepaar Gerichtskosten infolge mutwilliger Prozessführung.
Die allein gegen die Kosten eingereichte Verwaltungsgerichtsbeschwerde wies das Eidgenössische Versicherungsgericht ab (Urteil vom 8. April 1999, H 7/99).
Mit Schreiben vom 5. Juni 2001 gelangten A._ und B._ an das Verwaltungsgerichts von Appenzell A.Rh. und ersuchten um nochmalige Prüfung ihrer Einwände gegen die Rentenberechnung.
B.- Das Verwaltungsgericht von Appenzell A.Rh. trat mit Entscheid vom 20. Juni 2001 auf das Revisionsgesuch nicht ein.
C.- A._ und B._ führen Verwaltungsgerichtsbeschwerde und beantragen sinngemäss höhere Renten.
Sowohl die Ausgleichskasse des Kantons Appenzell A.Rh.
wie auch die Schweizerische Ausgleichskasse und das Bundesamt für Sozialversicherung verzichten auf eine Vernehmlassung.
Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- a) Gemäss Art. 108 Abs. 2 in Verbindung mit Art. 132 OG hat die Verwaltungsgerichtsbeschwerde an das Eidgenössische Versicherungsgericht unter anderem die Begehren und deren Begründung mit Angabe der Beweismittel zu enthalten. Diese Bestimmung soll dem Richter hinreichende Klarheit darüber verschaffen, worum es beim Rechtsstreit geht. Nach der Praxis genügt es, wenn dies der Verwaltungsgerichtsbeschwerde insgesamt entnommen werden kann. Insbesondere muss zumindest aus der Beschwerdebegründung ersichtlich sein, was der Beschwerdeführer verlangt und auf welche Tatsachen er sich beruft. Die Begründung braucht nicht zuzutreffen, aber sie muss sachbezogen sein. Der blosse Hinweis auf frühere Rechtsschriften oder auf den angefochtenen Entscheid genügt nicht. Fehlt der Antrag oder die Begründung überhaupt und lassen sie sich auch nicht der Beschwerdeschrift entnehmen, so liegt keine rechtsgenügliche Beschwerde vor, weshalb auf sie nicht eingetreten werden kann. Nach der Rechtsprechung des Eidgenössischen Versicherungsgerichts werden Verwaltungsgerichtsbeschwerden gegen Nichteintretensentscheide der Vorinstanz, die lediglich eine Auseinandersetzung mit der materiellen Seite des Falles enthalten, nicht als sachbezogen begründete und damit nicht als rechtsgenügliche Beschwerden qualifiziert (BGE 123 V 336 Erw. 1 mit Hinweisen).
b) Die Beschwerdeführer wiederholen in ihrer Verwaltungsgerichtsbeschwerde ihre Einwände gegen die Rentenfestsetzung und rügen einmal mehr, es sei ihnen bis anhin keine nachvollziehbare Begründung der Rentenberechnung gegeben worden. Auf das Nichteintreten der Vorinstanz gehen sie jedoch mit keinem Wort ein. Ihre Eingabe genügt demnach nicht den Anforderungen an eine Verwaltungsgerichtsbeschwerde gegen einen Nichteintretensentscheid.
Ausnahmsweise rechtfertigt es sich, dennoch auf die Verwaltungsgerichtsbeschwerde einzutreten, da diese unter Berücksichtigung der Gerichtsferien (Art. 34 OG) am zweiten Tag der dreissigtägigen Beschwerdefrist (Art. 132 in Verbindung mit Art. 106 Abs. 1 OG) eingereicht wurde und somit bei entsprechender Aufforderung durch das Gericht für die Beschwerdeführer genügend Zeit bestanden hätte, diesen Mangel innert der Beschwerdefrist zu beheben (Art. 108 Abs. 3 OG).
2.- a) Zu prüfen bleibt, ob das Verwaltungsgericht von Appenzell A.Rh. zu Recht auf das Revisionsgesuch nicht eingetreten ist.
b) Entgegen der Ansicht des kantonalen Gerichts hatte das Eidgenössische Versicherungsgericht im Verfahren H 7/99 lediglich die Auferlegung von Gerichtskosten wegen mutwilliger Prozessführung zu beurteilen; denn mit der Verwaltungsgerichtsbeschwerde wurde der vorinstanzliche Entscheid im Rentenpunkt nicht gerügt, sodass die neu berechneten Altersrenten mit dem Entscheid vom 23. September 1998 in Rechtskraft erwuchsen. Dieser ist grundsätzlich einer Revision nach kantonalem Recht (Art. 85 Abs. 2 lit. h AHVG in Verbindung mit Art. 12 des Gesetzes über die Verwaltungsgerichtsbarkeit vom 25. April 1993 [bGS 143. 6] und Art. 14 des Gesetzes über das Verwaltungsverfahren vom 28. April 1985 [bGS 143. 5]) zugänglich und unterliegt in diesem Punkt nicht der Revision nach Art. 136 ff. OG. Die Vorinstanz hat jedoch zutreffend festgehalten, dass in der Eingabe vom 5. Juni 2001 auch nicht ansatzweise ein Revisionsgrund geltend gemacht wird, weshalb sie im Ergebnis zu Recht auf das Gesuch nicht eingetreten ist.
3.- Da die Verwaltungsgerichtsbeschwerde offensichtlich unbegründet ist, wird sie im Verfahren nach Art. 36a OG erledigt.
4.- Das Verfahren ist kostenpflichtig, weil es nicht um Versicherungsleistungen, sondern um prozessuale Fragen (Revision nach kantonalem Recht) geht (Art. 134 OG e contrario).
Dem Ausgang des Verfahrens entsprechend haben die Beschwerdeführer die Gerichtskosten zu tragen.
Demnach erkennt das Eidg. Versicherungsgericht:
I.Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
II.Die Gerichtskosten von Fr. 500.- werden den Beschwerdeführern auferlegt und mit dem geleisteten Kostenvorschuss verrechnet.
III. Dieses Urteil wird den Parteien, dem Verwaltungsgericht von Appenzell A.Rh., der Schweizerischen Ausgleichskasse und dem Bundesamt für Sozialversicherung
zugestellt.
Luzern, 23. Mai 2002
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der III. Kammer:
Die Gerichtsschreiberin: