A.- C._, geboren 1951, war seit 1970 bis zu ihrer Entlassung Ende Januar 1999 im Spital X._ als Reinemacherin angestellt. Am 2. Dezember 1996 stürzte sie während der Arbeit auf die rechte Hand. Nachdem ursprünglich unter anderem eine Fraktur am rechten Handgelenk (Metacarpale I rechts) diagnostiziert worden war, stellte der Hausarzt Dr. med. P._ später fest, dass es sich nicht um eine Fraktur, sondern um eine Distorsion des rechten Handgelenkes und des rechten Daumens handelte. Seit diesem Unfall erlangte die Versicherte die volle Arbeitsfähigkeit nicht wieder, obwohl sie rein unfallbedingt seit 24. April 1997 gemäss Bericht des Professor T._, Spital X:_, vom 24. April 1997 wieder als voll arbeitsfähig galt. Am 13. Juli 1998 meldete sie sich bei der Invalidenversicherung zum Rentenbezug an. Gestützt auf die Ergebnisse der Expertise des Zentrums für Medizinische Begutachtung (ZMB) vom 28. April 1998 lehnte die IV-Stelle Basel-Stadt mit Verfügung vom 19. März 1999 den Anspruch auf eine Invalidenrente aufgrund einer ermittelten Erwerbseinbusse von 25 % ab. B.- Die dagegen erhobene Beschwerde hiess die Kantonale Rekurskommission für die Ausgleichskassen und die IV-Stellen Basel-Stadt mit Entscheid vom 24. August 2000 insoweit teilweise gut, als der Versicherten eine halbe Invalidenrente zugesprochen und die Sache an die IV-Stelle zurückgewiesen wurde, damit diese den Beginn des Rentenanspruches festlege. C.- Mit Verwaltungsgerichtsbeschwerde beantragt die IV-Stelle die Aufhebung des kantonalen Entscheids. Die Kantonale Rekurskommission für die Ausgleichskassen und die IV-Stellen Basel-Stadt schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde. Die Versicherte beantragt ebenfalls Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherung auf eine Stellungnahme verzichtet.