Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Die kantonale Rekurskommission hat die gesetzlichen Bestimmungen zum Anspruch auf Hilfsmittel der Invalidenversicherung (Art. 21 Abs. 1, 2 und 4 IVG, <ref-law>), namentlich auf Perücken (<ref-law>, Ziff. 5.06 HVI Anhang), zum Eintritt des Versicherungsfalls (<ref-law>) sowie zu den versicherungsmässigen Voraussetzungen für griechische Staatsangehörige (<ref-law>, Art. 10 des schweizerisch-griechischen Abkommens über Soziale Sicherheit) richtig dargelegt. Darauf wird verwiesen. Ergänzend ist Rz 5.06.1 des Kreisschreibens des BSV über die Abgabe von Hilfsmitteln durch die Invalidenversicherung (KHMI) zu erwähnen. Danach haben Versicherte, deren Kahlköpfigkeit die äussere Erscheinung unvorteilhaft beeinträchtigt und zu erheblichen psychischen Belastungen führt, Anspruch auf Perücken, wenn die Haare als Folge eines akuten Gesundheitsschadens oder dessen Behandlung, z.B. durch Bestrahlung oder Chemotherapie, ausgefallen sind.
2.- Streitig und zu prüfen ist, ab welchem Zeitpunkt die Beschwerdegegnerin eine Perücke benötigt hat, und ob die versicherungsmässigen Voraussetzungen für die Abgabe dieses Hilfsmittels in diesem Moment erfüllt waren.
a) Unter der Geltung von <ref-law> in der ursprünglichen Fassung (in Kraft seit 1. Januar 1960) blieb unklar, ob derselbe Gesundheitsschaden mehrere (sukzessive) Versicherungsfälle bewirken kann (EVGE 1966 S. 175, insbes.
S. 178 f. Erw. 4). Diese Unsicherheit bewog den Gesetzgeber im Rahmen der am 1. Januar 1968 in Kraft getretenen 1. IV-Revision (Bundesgesetz vom 5. Oktober 1967), den Invaliditätseintritt leistungsbezogen zu normieren. Diesem Zweck dient <ref-law>, wonach die Invalidität als eingetreten gilt, sobald sie die für die Begründung des Anspruchs auf die jeweilige Leistung erforderliche Art und Schwere erreicht hat. Es entspricht ständiger Rechtsprechung zu dieser Bestimmung, dass das IVG nicht einen einheitlichen Versicherungsfall kennt, sondern dem System des leistungsspezifischen Versicherungsfalles folgt (<ref-ruling> Erw. 4 mit zahlreichen Hinweisen).
b) Auf Grund der vorhandenen Akten ist davon auszugehen, dass die Beschwerdegegnerin nach einer zweimaligen, in Griechenland durchgeführten Röntgenbestrahlung im Alter von 8 und 10 Jahren, somit im Zeitraum 1956-1958, an Haarausfall zu leiden begann (Bericht Dr. L._, Oberarzt Plast. Chirurgie, vom 28. Oktober 1981). Die Versicherte reiste im Dezember 1979 in die Schweiz ein. Die IV-Stelle lehnte alle Gesuche um Abgabe einer Perücke jeweils mit der Begründung ab, der Versicherungsfall sei bereits vor der Einreise eingetreten, als die Beschwerdegegnerin noch nicht bei der Invalidenversicherung versichert gewesen sei. Die Vorinstanz hingegen kam zum Schluss, dass angesichts des Zustandes bei der Einreise noch keine Perücke notwendig gewesen sei. Hingegen habe sich der Haarausfall in der Folge derart verschlimmert, dass der Versicherungsfall in der Schweiz eingetreten sei.
c) Gemäss dem erwähnten Bericht von Dr. L._ fand sich am 27. Oktober 1981 occipital rechts eine subtotale Alopezie von ca. 7 cm Durchmesser. Die restlichen Haare seien ebenfalls relativ dünn und von sehr schlechter Qualität. Eine partielle Hautexzision im Bereich der Alopezie sowie Haartransplantate sollten eine befriedigende Deckung des Defektes ergeben. Gemäss Bericht von Dr.
S._, Physikalische Medizin und Rehabilitation/Rheumatologie FMH, vom 5. Dezember 1995 waren bei massiver Atrophie der Kopfhaut nur vereinzelte Haare vorhanden. Laut Zeugnis des selben Arztes vom 24. August 1999 habe die Beschwerdegegnerin eine weitgehend vollständige Alopezie bei Status nach Röntgenbestrahlung im Kindesalter. Im kantonalen Verfahren legte sie ein Kurzzeugnis der Klinik für Wiederherstellende Chirurgie am Spital X._ vom 19. Juni 2000 vor, wonach am 15. August 1983 eine Operation wegen Abstehohren beidseits durchgeführt worden sei. Dabei seien probeweise Haartransplantate aus der Schläfengegend auf den Hinterkopf versetzt worden. Sodann reichte die Beschwerdegegnerin drei Fotos ein, welche gemäss rückseitigen Stempeln im September 1987 entwickelt wurden und ihren Kopf aus verschiedenen Blickwinkeln zeigen.
d) Gestützt auf diese Angaben ist davon auszugehen, dass die Beschwerdegegnerin 1981 zwar bereits einen Haarausfall rechts von 7 cm aufgewiesen hat. Dieser war jedoch nach Angaben von Dr. med. L._ behandlungsfähig. 1983 wurden denn auch Transplantationen durchgeführt. Auf den Fotos aus dem Jahr 1987 ist am Haarwuchs der Beschwerdegegnerin wenig Auffälliges zu erkennen. Jedenfalls erreicht der Zustand bei Weitem nicht die Schwere, welche Dr.
S._ im Bericht vom 5. Dezember 1995 mit "nur vereinzelte Haare vorhanden" umschreibt. Damit ist erwiesen, dass sich der Zustand der Behaarung in den nachfolgenden Jahren verschlechtert hat. Anhand der Fotos ist ersichtlich, dass 1987 keine Perücke notwendig war. Ob allenfalls früher bereits eine solche angezeigt gewesen wäre, braucht nicht geprüft zu werden. Der Anspruch auf eine Perücke wäre angesichts des Zustandes von 1987 wieder hinfällig geworden.
Daher ist erstellt, dass im Zeitraum ab 1987 ein (allenfalls neuer) Versicherungsfall eingetreten ist. Dass die Beschwerdegegnerin als Frau mit nahezu vollständiger Kahlköpfigkeit die materiellen Voraussetzungen (vgl. dazu ZAK 1984 S. 337 f. Erw. 1a) für die Abgabe einer Perücke heute erfüllt, ist angesichts des Berichts von Dr.
S._ vom 24. August 1999 erwiesen. Im Zeitpunkt dieses Versicherungsfalls war die Beschwerdegegnerin bei der Invalidenversicherung versichert. Damit vermag der kantonale Entscheid Stand zu halten.
3.- Die Beschwerdegegnerin ist im vorliegenden Verfahren durch eine Anwältin vertreten. Da sie jedoch auf eine Vernehmlassung verzichtet hat, ist ihrer Rechtsvertreterin nur ein geringer Arbeitsaufwand erwachsen. Deshalb steht der Beschwerdegegnerin lediglich eine reduzierte Parteientschädigung zu.

Demnach erkennt das Eidg. Versicherungsgericht:
I.Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
II.Es werden keine Gerichtskosten erhoben.
III. Die IV-Stelle Basel-Stadt hat der Beschwerdegegnerin für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Parteientschädigung von Fr. 200.- zu
bezahlen.
IV.Dieses Urteil wird den Parteien, der Kantonalen Rekurskommission für die Ausgleichskassen und die IV-Stellen, Basel, der Ausgleichskasse Basel-Stadt und
dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 6. Dezember 2001
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der III. Kammer:
Der Gerichtsschreiber:
i.V.