A.- B._, geboren 1931, erhält seit Januar 1998 Ergänzungsleistungen zur einfachen Altersrente der AHV. Mit Verfügung vom 26. Juni 2001 lehnte die Ausgleichskasse des Kantons Aargau das Gesuch des B._ ab, die Kosten für "Kukident" (Haftcrème für Zahnprothesen) in Höhe von etwa Fr. 200.-- pro Jahr als Krankheitskosten im Rahmen der Ergänzungsleistungen zu vergüten.
B.- Die dagegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Aargau mit Entscheid vom 11. Dezember 2001 ab.
C.- B._ führt Verwaltungsgerichtsbeschwerde mit dem Antrag, unter Aufhebung des vorinstanzlichen Entscheides und unter teilweiser Aufhebung der Verwaltungsverfügung seien ihm die Kosten für "Kukident" als Krankheitskosten zu vergüten.
Die Ausgleichskasse schliesst sinngemäss auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherung auf eine Vernehmlassung verzichtet.
Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Nachdem der kantonale Entscheid vom Beschwerdeführer nicht abgeholt und von der Post am 28. Dezember 2001 zurückgeschickt worden war, wurde er von der Vorinstanz Mitte Januar 2002 nochmals - diesmal erfolgreich - zugestellt.
Eine eingeschriebene Postsendung gilt grundsätzlich in dem Zeitpunkt als zugestellt, in welchem die angeschriebene Person sie tatsächlich in Empfang nimmt. Wird die Person nicht angetroffen und wird daher eine Abholungseinladung in ihren Briefkasten oder ihr Postfach gelegt, so gilt die Sendung in jenem Zeitpunkt als zugestellt, in welchem sie auf der Poststelle abgeholt wird. Geschieht dies nicht innert der Abholfrist von sieben Tagen gemäss den von der Post gestützt auf Art. 11 des Postgesetzes vom 30. April 1997 erlassenen Allgemeinen Geschäftsbedingungen "Postdienstleistungen", so gilt die Sendung als am letzten Tag dieser Frist zugestellt (BGE 127 I 31, 123 III 493, 119 II 149 Erw. 2, 119 V 94 Erw. 4b/aa, je mit Hinweisen). Ein allfälliger zweiter Versand und die spätere Entgegennahme der Sendung vermögen an diesem Ergebnis - vorbehältlich des Vertrauensschutz begründenden zweiten Versands mit vorbehaltloser Rechtsmittelbelehrung (BGE 115 Ia 20 Erw. 4c; vgl. auch BGE 118 V 190) - nichts zu ändern und sind rechtlich unbeachtlich (BGE 119 V 94 Erw. 4b/aa mit Hinweisen).
Die zweite Zustellung ist innerhalb der Rechtsmittelfrist (vgl. Art. 34 Abs. 1 lit. c OG sowie BGE 118 V 190) und ohne den Vorbehalt erfolgt, dass die erneute Zustellung rein informationshalber geschehe und die Frist für ein allfälliges Rechtsmittel schon mit der fingierten Zustellung am Ende der postalischen Abholfrist begonnen habe. Infolge der erneuten und vorbehaltlosen Zustellung innerhalb der Rechtsmittelfrist des ersten Zustellungsversuchs beginnt der Fristenlauf für die Verwaltungsgerichtsbeschwerde erst mit der erneuten Zustellung (BGE 115 Ia 20 Erw. 4c) und ist durch Postaufgabe des Rechtsmittels am 11. Februar 2002 gewahrt worden. Da auch die restlichen Prozessvoraussetzungen erfüllt sind, ist auf die Verwaltungsgerichtsbeschwerde einzutreten.
2.- Die Vergütung von Arzneikosten durch die Ergänzungsleistung ist im Rahmen von Franchise und Selbstbehalt möglich (Art. 3d Abs. 1 lit. f ELG in Verbindung mit Art. 64 KVG und Art. 3 ELKV). Dies setzt voraus, dass die Krankenkasse Leistungen aus der obligatorischen Krankenversicherung übernimmt (Art. 6 ELKV), denn nur in diesem Fall haben sich die Versicherten an den Kosten der für sie erbrachten Leistungen im Rahmen von Franchise und Selbstbehalt zu beteiligen (Art. 64 KVG). Die Ergänzungsleistung ersetzt damit dem Versicherten jenen Anteil an den Krankheitskosten, den die Krankenversicherung wegen der Kostenbeteiligung durch Franchise und Selbstbehalt nicht übernimmt (maximal Fr. 830.--; vgl. Art. 103 KVV und Art. 7 ELKV). An Arzneimittel, welche nicht in den Leistungsbereich der obligatorischen Krankenversicherung fallen, richtet auch die Ergänzungsleistung keine Vergütung aus (BGE 127 V 244 oben).
3.- Streitig ist einzig, ob im Rahmen der Kostenvergütung die Kosten für "Kukident" zu übernehmen sind.
a) Nach Art. 34 Abs. 1 KVG dürfen die Versicherer im Rahmen der obligatorischen Krankenpflegeversicherung nur die in Art. 25 bis 33 KVG aufgeführten Leistungen übernehmen, so u.a. nach Art. 25 Abs. 2 lit. b KVG die ärztlich verordneten Arzneimittel. Nach Art. 52 Abs. 1 lit. a Ziff. 2 KVG erlässt das Eidgenössische Departement des Innern u.a. eine Liste der in der Rezeptur verwendeten Präparate (Arzneimittelliste), während das Bundesamt für Sozialversicherung nach Art. 52 Abs. 1 lit. b KVG eine Liste der pharmazeutischen Spezialitäten und konfektionierten Arzneimittel erstellt (Spezialitätenliste). Die Spezialitäten- und Arzneimittelliste enthalten abschliessende Aufzählungen; ist ein Präparat darin nicht enthalten, schliesst das die Leistungspflicht des Versicherers aus (Urteil M. vom 8. August 2001, K 123/00). An der abschliessenden Aufzählung in der Spezialitäten- und Arzneimittelliste ändert auch die Austauschbefugnis nichts, da diese nach der Rechtsprechung nicht dazu führen darf, dass Pflichtleistungen durch Nichtpflichtleistungen ersetzt werden (BGE 127 V 123 Erw. 2a mit Hinweisen).
Da die Zahnprothesenhaftcrème "Kukident" weder auf der Spezialitäten- noch der Arzneimittelliste aufgeführt ist, darf sie vom Krankenversicherer nicht übernommen werden.
Dies hat zur Folge, dass auch keine entsprechende Kostenbeteiligung besteht, die durch Ergänzungsleistungen vergütet werden könnte.
b) Der Beschwerdeführer bringt sinngemäss vor, dass "Kukident" ein Hilfsmittel der Zahnprothese darstelle und demzufolge zu übernehmen sei.
Zahnprothesen sind kein Hilfsmittel, dessen Anschaffung durch Ergänzungsleistungen vergütet wird (Art. 3d Abs. 1 lit. e ELG, Art. 19 Abs. 1 lit. e ELV, Art. 16 und Anhang ELKV sowie Art. 16 Abs. 2 ELKV in Verbindung mit Anhang HVA). Im Weiteren besteht im Rahmen des Art. 16 ELKV kein Anspruch auf Vergütung der Unterhalts- und Betriebskosten der Hilfsmittel; damit kann offen bleiben, ob die Zahnprothesenhaftcrème "Kukident" überhaupt dem Unterhalt resp. dem Betrieb der Zahnprothese dient.
Demnach erkennt das Eidg. Versicherungsgericht:
I. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
II. Es werden keine Gerichtskosten erhoben.
III. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Aargau und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 2. Juli 2002
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der II. Kammer:
Der Gerichtsschreiber: