A.- C._, geboren 1951, war seit 1970 bis zu ihrer Entlassung Ende Januar 1999 im Spital X._ als Reinemacherin angestellt. Am 2. Dezember 1996 stürzte sie während der Arbeit auf die rechte Hand. Nachdem ursprünglich unter anderem eine Fraktur am rechten Handgelenk (Metacarpale I rechts) diagnostiziert worden war, stellte der Hausarzt Dr. med. P._ später fest, dass es sich nicht um eine Fraktur, sondern um eine Distorsion des rechten Handgelenkes und des rechten Daumens handelte. Seit diesem Unfall erlangte die Versicherte die volle Arbeitsfähigkeit nicht wieder, obwohl sie rein unfallbedingt seit
24. April 1997 gemäss Bericht des Professor T._, Spital X:_, vom 24. April 1997 wieder als voll arbeitsfähig galt. Am 13. Juli 1998 meldete sie sich bei der Invalidenversicherung zum Rentenbezug an. Gestützt auf die Ergebnisse der Expertise des Zentrums für Medizinische Begutachtung (ZMB) vom 28. April 1998 lehnte die IV-Stelle Basel-Stadt mit Verfügung vom 19. März 1999 den Anspruch auf eine Invalidenrente aufgrund einer ermittelten Erwerbseinbusse von 25 % ab.
B.- Die dagegen erhobene Beschwerde hiess die Kantonale Rekurskommission für die Ausgleichskassen und die IV-Stellen Basel-Stadt mit Entscheid vom 24. August 2000 insoweit teilweise gut, als der Versicherten eine halbe Invalidenrente zugesprochen und die Sache an die IV-Stelle zurückgewiesen wurde, damit diese den Beginn des Rentenanspruches festlege.
C.- Mit Verwaltungsgerichtsbeschwerde beantragt die IV-Stelle die Aufhebung des kantonalen Entscheids.
Die Kantonale Rekurskommission für die Ausgleichskassen und die IV-Stellen Basel-Stadt schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde. Die Versicherte beantragt ebenfalls Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherung auf eine Stellungnahme verzichtet.

Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Die Vorinstanz hat die massgeblichen Bestimmungen und Grundsätze über die Voraussetzungen und den Umfang des Rentenanspruchs (Art. 28 Abs. 1 und 1bis IVG), die Bemessung des Invaliditätsgrades bei Erwerbstätigen nach der allgemeinen Methode des Einkommensvergleichs (<ref-law>), den so genannten "Prozentvergleich" (<ref-ruling> Erw. 3a mit Hinweisen) und das in Anlehnung an die spezifische Methode für Nichterwerbstätige (<ref-law>) entwickelte ausserordentliche Bemessungsverfahren zutreffend dargelegt. Darauf kann verwiesen werden.
Zu ergänzen bleibt, dass hinsichtlich des Beweiswertes eines Arztberichts entscheidend ist, ob der Bericht für die streitigen Belange umfassend ist, auf allseitigen Untersuchungen beruht, auch die geklagten Beschwerden berücksichtigt, in Kenntnis der Vorakten (Anamnese) abgegeben worden ist, in der Beurteilung der medizinischen Zusammenhänge und der medizinischen Situation einleuchtet und ob die Schlussfolgerungen des Experten begründet und nachvollziehbar sind (<ref-ruling> Erw. 3a mit Hinweis).
2.- Streitig ist, ob die Beschwerdegegnerin Anspruch auf eine Invalidenrente hat. Dies hängt zunächst davon ab, ob ein körperlicher oder geistiger Gesundheitsschaden vorliegt, der voraussichtlich eine bleibende oder längere Zeit dauernde Erwerbsunfähigkeit verursacht. Dabei ist zu prüfen, ob der Sachverhalt mit Blick auf die Beantwortung der Frage nach dem Gesundheitsschaden in medizinischer Hinsicht hinreichend abgeklärt ist.
a) Das Gutachten des ZMB vom 28. April 1998 stellt die Hauptdiagnose (mit Einfluss auf die Arbeitsfähigkeit):
"Kraftverlust und eine Schmerzhaftigkeit des rechten Handgelenks und der gesamten oberen Extremität nach Handgelenksdistorsion mit nachfolgendem Hand-Schultersyndrom" sowie eine "mässige Epicondylitis radialis et ulnaris humeri rechts". Gestützt auf diese Feststellungen und objektivierbaren Befunde gelangten die ZMB-Gutachter zur Auffassung, dass die Beschwerdegegnerin in ihrem bisherigen Aufgabenbereich als Reinemacherin zufolge der "Einschränkung durch eine etwas verminderte Belastbarkeit des rechten Armes bei bestimmten Tätigkeiten" zu ca. 25 % in der Arbeitsfähigkeit eingeschränkt sei. Die Frage nach den Möglichkeiten zur allfälligen Verbesserung der Arbeitsfähigkeit durch medizinische Massnahmen, Hilfsmittel oder berufliche Umstellung beantworteten die Spezialärzte des ZMB abschliessend dahin, dass die objektivierbaren gesundheitlichen Beeinträchtigungen der Versicherten durchaus noch der Behandlung zugänglich sein sollten. In Frage kämen wohl in erster Linie gezielte Dehnungsübungen, kombiniert mit lokalen physikalischen Anwendungen zur Behandlung der Tendoperiostosen, respektive der Epicondylitis und auch der Schulterperiarthropathie.
Dadurch könne die Versicherte "wieder eine normale Leistungsfähigkeit erlangen".
b) Der Hausarzt Dr. med. P._, der die Versicherte (und deren Familie) seit 1980 kennt und behandelt, konnte in dieser Zeit nie eine Begehrlichkeit und bisher keinerlei Aggravationstendenzen feststellen.
Vielmehr gelangte er aufgrund seiner Kenntnisse der medizinischen Sachlage zu einer gegenüber der ZMB-Begutachtung abweichenden Beurteilung der Leistungsfähigkeit der Beschwerdegegnerin. Er hält sie unter Berücksichtigung verschiedener Funktionseinschränkungen für 50 % arbeitsunfähig.
Weiter führt Dr. P._ in seinem Bericht vom 1. September 1998 aus, die Versicherte sei durch die falsche Diagnose (Fraktur statt Distorsion anlässlich des Unfalles vom 2. Dezember 1996) traumatisiert worden. Dabei habe sich ein Schulterarmsyndrom, das bereits früher gelegentlich aufgetreten sei, entwickelt und zudem sei ein tendomyotisches Schultergürtelsyndrom aktiviert worden. Dem Bericht des Dr. med. P._ vom 26. April 1999 ist schliesslich zu entnehmen, dass er - aus Kostengründen und um die Versicherte dadurch nicht zusätzlich zu traumatisieren - auf umfangreiche technische Abklärungen (EMG, CT etc.) verzichtet habe.
c) Angesichts dieser Aussagen des Hausarztes und der Ergebnisse der MRI-Untersuchung vom 9. April 1997, bei welcher immerhin eine zystische Läsion im Bereich der distalen Ulna mit Kontakt zum Gelenkspalt gefunden wurde, erweisen sich die Schlussfolgerungen gemäss ZMB-Gutachten in verschiedener Hinsicht als nicht schlüssig. So beurteilte Professor P._ den handchirurgischen Status anlässlich der ZMB-Begutachtung wie folgt: "Die Ursache der geklagten Schmerzen und Funktionsstörungen ist nicht ganz eindeutig. Sicher ist die Zyste oder das intraossäre Ganglion im Ulnaköpfchen dafür nicht verantwortlich. Hinweise für eine signifikante Bandläsion, etwa des SL-Bandes an der dominanten rechten Hand, sind weder klinisch noch radiologisch vorhanden. Es dürfte sich weitgehend um psychisch mitbeeinflusste Residuen eines Schulter-Handsyndromes handeln. " Dr. R._ beurteilte den rheumatologischen Status folgendermassen: "Schmerzsyndrom rechts bei Status nach Sturz auf den rechten Arm im Dezember 1996" sowie "unklare rechtsseitige Kreuz- und Beinschmerzen". Obwohl die ZMB-Gutachter keine eindeutigen Ursachen für die geklagten Beschwerden ermitteln konnten, schätzten sie die Arbeitsunfähigkeit zuhanden der Invalidenversicherung in Bezug auf die bisher angestammte Tätigkeit der Versicherten als Reinemacherin abschliessend auf 25 %. Zudem werden gemäss ZMB-Gutachten allfälligen psychogenen Beschwerden keinerlei Einfluss auf die Arbeitsfähigkeit beigemessen.
Den vorliegenden Akten ist sodann zu entnehmen, dass bisher auch noch nicht alle in Frage kommenden spezialmedizinischen Untersuchungsmethoden, insbesondere keine neurologische Untersuchung, zur genaueren Abklärung der geklagten Beschwerden durchgeführt worden sind. Schliesslich fehlt es auch - mangels einer einschlägigen Fragestellung durch die IV-Stelle - an einer allgemeinen Zumutbarkeitsbeurteilung in Bezug auf die für die Beschwerdegegnerin in Betracht fallenden angepassten Tätigkeiten auf dem allgemeinen Arbeitsmarkt.
Gestützt auf diese unsicheren, teils fehlenden und sich teils widersprechenden Angaben zum Gesundheitszustand der Versicherten und dessen Auswirkungen auf die Arbeitsfähigkeit kann über die Frage nach dem Gesundheitsschaden nicht mit dem im Sozialversicherungsrecht geltenden Beweisgrad der überwiegenden Wahrscheinlichkeit (vgl. <ref-ruling> Erw. 2 mit Hinweisen) entschieden werden. Die Sache ist daher zu weiteren Abklärungen in der Form einer neuen umfassenden polydisziplinären Begutachtung, z.B. am Spital X._, an die IV-Stelle zurückzuweisen. Diese wird gestützt auf die Ergebnisse der neuen Begutachtung gegebenenfalls unter Berücksichtigung der Stellenlosigkeit der Versicherten nebst der Rentenfrage nach dem Grundsatz "Eingliederung vor Rente" auch Eingliederungsmassnahmen in Betracht zu ziehen haben.
3.- a) Bei der Ermittlung des ohne invalidisierenden Gesundheitsschaden erzielbaren Einkommens (des sog. Valideneinkommens) ist entscheidend, was die versicherte Person im massgebenden Zeitpunkt auf Grund ihrer beruflichen Fähigkeiten und persönlichen Umstände nach dem Beweisgrad der überwiegenden Wahrscheinlichkeit verdient hätte (RKUV 1993 Nr. U 168 S. 100 Erw. 3b mit Hinweis). Da die Invaliditätsbemessung der voraussichtlich bleibenden oder längere Zeit dauernden Erwerbsunfähigkeit zu entsprechen hat (vgl.
<ref-law>), ist auch die berufliche Weiterentwicklung mitzuberücksichtigen, die eine versicherte Person normalerweise vollzogen hätte; dazu ist allerdings erforderlich, dass konkrete Anhaltspunkte dafür bestehen, dass ohne gesundheitliche Beeinträchtigung ein beruflicher Aufstieg und ein entsprechend höheres Einkommen tatsächlich realisiert worden wären (<ref-ruling>; AHI 1998 S. 171 Erw. 5a; RKUV 1993 Nr. U 168 S. 100 Erw. 3b).
b) Verwaltung und Vorinstanz sind von einem Valideneinkommen von Fr. 57'222.- pro Jahr ausgegangen, basierend auf einem seit 1. Januar 1997 angeblich unveränderten AHV-beitragspflichtigen Lohn von Fr. 4'401. 75 (x 13 pro Jahr).
Gemäss Auszug aus dem individuellen Konto (IK) der Versicherten vom 21. Juli 1998 ist ersichtlich, dass für das Jahr 1996 ein AHV-beitragspflichtiges Jahreseinkommen von Fr. 57'147.- abgerechnet worden war, während das Spital X._ für das gleiche Jahr einen AHV-beitragspflichtigen Jahresverdienst von Fr. 60'148.- bestätigte.
Die Differenz zwischen dem bestätigten AHV-beitragspflichtigen Jahresverdienst von Fr. 60'148.- und dem berücksichtigten Valideneinkommen von Fr. 57'222.- pro Jahr ist aktenmässig nicht erstellt und in keiner Weise nachvollziehbar.
Die Vorinstanz selbst äussert ihre Zweifel an der Korrektheit der Berechnung des Valideneinkommens in der Vernehmlassung vom 12. Dezember 2000. Die IV-Stelle wird auch diesbezüglich ergänzende Abklärungen treffen.
4.- Die Beschwerdegegnerin unterliegt mit ihrem Antrag auf Abweisung der Verwaltungsgerichtsbeschwerde, weshalb ihr keine Parteientschädigung zusteht (Art. 159 OG in Verbindung mit Art. 135 OG).

Demnach erkennt das Eidg. Versicherungsgericht:
I. Die Verwaltungsgerichtsbeschwerde wird in dem Sinne
gutgeheissen, dass der Entscheid der Kantonalen Rekurskommission
für die Ausgleichskassen und die IV- Stellen Basel-Stadt vom 24. August 2000 und die Verfügung
vom 19. März 1999 aufgehoben werden, und es wird
die Sache an die IV-Stelle Basel-Stadt zurückgewiesen,
damit diese, nach erfolgter Abklärung im Sinne der Erwägungen,
über den Rentenanspruch neu verfüge.
II. Es werden keine Gerichtskosten erhoben und keine Parteientschädigung zugesprochen.
III. Dieses Urteil wird den Parteien, der Kantonalen
Rekurskommission für die Ausgleichskassen und die
IV-Stellen Basel-Stadt, der Ausgleichskasse Basel- Stadt und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 31. Mai 2001
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der III. Kammer:
Der Gerichtsschreiber: