A.- Die Firma A._ AG (im Folgenden Firma), bezog für die Zeit vom 1. Januar bis 31. Mai 1996 sowie vom 1. Juli bis 30. September 1997 Kurzarbeitsentschädigung.
Die Arbeitslosenkasse Graubünden führte am 14. November 1997 bei der Firma eine Betriebskontrolle durch. Gestützt auf die daraus gewonnenen Erkenntnisse teilte die Verwaltung der Firma mit, sie beabsichtige, die zur Auszahlung gelangten Kurzarbeitsentschädigungen mangels Kontrollierbarkeit des Arbeitszeitausfalles zurückzufordern. In der Folge stellte die Arbeitgeberin neue Beweismittel in Aussicht, welche den Arbeitszeitausfall belegen sollten. Nach Mahnung wurden diese am 24. August 1998 eingereicht, worauf die Ausgleichskasse die Firma mit Verfügung vom 21. Mai 1999 verpflichtete, die für die Zeit vom 1. Januar bis 31. Mai 1996 sowie vom 1. Juli bis 30. September 1997 bereits ausbezahlten Kurzarbeitsentschädigungen im Betrag von Fr. 45'846.75 zurückzuerstatten.
B.- Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Graubünden mit am 6. Januar 2000 eröffnetem Entscheid vom 24. September 1999 ab.
C.- Mit Verwaltungsgerichtsbeschwerde lässt die Firma die Aufhebung des angefochtenen Entscheids sowie der Verfügung vom 21. Mai 1999 beantragen.
Die Arbeitslosenkasse schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde. Das Staatssekretariat für Wirtschaft lässt sich nicht vernehmen.

Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- a) Nach <ref-law> muss die Kasse Leistungen der Versicherung, auf die der Empfänger keinen Anspruch hatte, zurückfordern. Gemäss einem allgemeinen Grundsatz des Sozialversicherungsrechts kann die Verwaltung eine formell rechtskräftige Verfügung, welche nicht Gegenstand materieller richterlicher Beurteilung gebildet hat, in Wiedererwägung ziehen, wenn sie zweifellos unrichtig und ihre Berichtigung von erheblicher Bedeutung ist (<ref-ruling> Erw. 3a, 173 Erw. 4a, 271 Erw. 2, 368 Erw. 3, 121 V 4 Erw. 6, je mit Hinweisen). Die für die Wiedererwägung formell rechtskräftiger Verfügungen massgebenden Voraussetzungen gelten auch mit Bezug auf die Rückerstattung zu Unrecht bezogener Geldleistungen der Arbeitslosenversicherung gemäss <ref-law> (<ref-ruling> Erw. 2, 110 V 179 Erw. 2a mit Hinweisen; SVR 1995 ALV Nr. 53 S. 162 Erw. 3a), und zwar unbesehen darum, ob sie förmlich oder formlos zugesprochen worden sind (<ref-ruling> oben, 111 V 332 Erw. 1; ARV 1995 Nr. 12 S. 64 Erw. 2b). Eine zweifellose Unrichtigkeit liegt nicht nur vor, wenn die in Wiedererwägung zu ziehende Verfügung auf Grund falscher oder unzutreffender Rechtsregeln erlassen wurde, sondern auch, wenn massgebliche Bestimmungen nicht oder unrichtig angewandt wurden (ARV 1996/1997 Nr. 28 S. 158 Erw. 3c).
b) Laut <ref-law> haben Arbeitnehmer, deren normale Arbeitszeit verkürzt oder deren Arbeit eingestellt ist, unter den in der Bestimmung aufgeführten Voraussetzungen Anspruch auf Kurzarbeitsentschädigung. Keinen Anspruch auf Kurzarbeitsentschädigung haben nach <ref-law> Arbeitnehmer, deren Arbeitsausfall nicht bestimmbar oder deren Arbeitszeit nicht ausreichend kontrollierbar ist. Ein geltend gemachter Arbeitsausfall ist erst dann genügend kontrollierbar, wenn für jeden einzelnen Tag die geleistete Arbeitszeit überprüfbar ist. Nur auf diese Weise ist Gewähr geboten, dass die an gewissen Tagen geleistete Überzeit, welche innerhalb der Abrechnungsperiode auszugleichen ist (vgl. Gerhards, Kommentar zum AVIG, Bd. I, N 5 zu Art. 31), bei der Feststellung des monatlichen Arbeitsausfalls Berücksichtigung findet (ARV 1999 Nr. 34 S. 202 Erw. 2a).
2.- Streitig ist zunächst, ob die Arbeitszeit ausreichend kontrollierbar im Sinne von <ref-law> ist.
a) Die Beschwerdeführerin verfügte nicht über ein Zeiterfassungsgerät. Ebenso wenig hat sie oder einer der von der Kurzarbeit betroffenen Arbeitnehmer täglich umfassende Rapporte über die geleistete Arbeitszeit geführt. Dennoch erachtet die Firma das Kriterium der ausreichenden Kontrollierbarkeit des Umfangs der Arbeitszeitreduktion als erfüllt. Dies im Wesentlichen mit der Begründung, dass sich anhand der im Anschluss an die Beanstandung der Arbeitslosenkasse vom 17. Dezember 1997 zusammen mit den betroffenen Mitarbeitern erstellten Wochenrapporte für die fraglichen Kontrollperioden Januar bis Mai 1996 sowie Juli bis September 1997 die tatsächlich geleisteten Arbeitszeiten lückenlos herleiten liessen.
b) Dieser Auffassung kann mit der Vorinstanz nicht gefolgt werden. Es ist unwahrscheinlich, dass Arbeitgeber und Angestellte in der Lage sind, derart viel später aus dem Gedächtnis detailliert Auskunft zu den fraglichen Arbeitszeiten an den einzelnen Tagen zu geben. Folglich stellen die erst nachträglich verfassten Wochenrapporte kein taugliches Mittel dar, um die Arbeitszeit durch die Verwaltung ausreichend kontrollieren zu können (in diesem Sinne ebenso ARV 1998 Nr. 35 S. 200 Erw. 4a betreffend nachträglich erstellte Arbeitsrapporte). Der seit dem 1. Januar 1997 geltende <ref-law> setzt für die genügende Kontrollierbarkeit des Arbeitsausfalles denn auch ausdrücklich eine betriebliche Arbeitszeitkontrolle voraus (Abs. 1), die der Arbeitgeber zudem während fünf Jahren aufzubewahren hat (Abs. 2).
Es lässt sich daher auch nicht beanstanden, wenn sich das kantonale Gericht mangels Erheblichkeit nicht ausdrücklich mit den auf den Wochenrapporten aufbauenden Beispielen der Beschwerdeführerin zu den Arbeitszeiten einzelner Arbeitnehmer auseinandergesetzt hat. Aus demselben Grund durfte sie im Sinne einer antizipierten Beweiswürdigung (<ref-ruling> Erw. 3c; vgl. auch <ref-ruling> Erw. 4b) auf die Befragung der Angestellten verzichten, ohne damit den Anspruch auf rechtliches Gehör zu verletzen.
c) Die im Recht liegenden Belege lassen keine hinreichenden Rückschlüsse auf die tatsächlich geleistete Arbeitszeit zu, so dass ihre für die Kurzarbeitsentschädigung anspruchsbegründende Kontrollierbarkeit gemäss <ref-law> eindeutig nicht gegeben ist. Von weiteren Beweismassnahmen ist abzusehen, da hievon keine neuen Erkenntnisse zu erwarten sind. Die Ausrichtung von Kurzarbeitsentschädigung erweist sich damit als offensichtlich unrichtig. Da die Berichtigung angesichts des in Frage stehenden Betrages ferner von erheblicher Bedeutung ist, sind die Voraussetzungen für die Rückforderung grundsätzlich erfüllt.
3.- Zu prüfen bleibt, ob und gegebenenfalls inwieweit die Rückforderung der Arbeitslosenkasse verwirkt ist.
a) Die Vorinstanz hat die Bestimmung über die Verwirkung des Rückforderungsanspruchs (<ref-law>) sowie die Rechtsprechung zum Beginn der einjährigen Verwirkungsfrist (<ref-ruling> Erw. 1, 122 V 275 Erw. 5b/aa, je mit Hinweisen) zutreffend dargelegt. Darauf ist zu verweisen.
b) Die absolute Verwirkungsfrist von fünf Jahren ist offenkundig gewahrt, womit die Verwirkungsfrage allein unter dem Blickwinkel der relativen einjährigen Frist näher zu untersuchen ist.
Die Ausgleichskasse kam gestützt auf die ihr anlässlich der Betriebskontrolle vom 14. November 1997 zur Verfügung gestandenen Unterlagen zwar (provisorisch) zur Überzeugung, der Arbeitszeitausfall sei nicht überprüfbar. Wie die Vorinstanz zutreffend festhält, durfte sie indessen angesichts der im Anschluss an diese Kontrolle von der Beschwerdeführerin getätigten Aussagen in guten Treuen davon ausgehen, dass sich möglicherweise noch weitere, der Verwaltung bisher verschlossen gebliebene, entscheidwesentliche Unterlagen in den Händen der Arbeitgeberin befinden würden. Dies wird von der Beschwerdeführerin in ihren Vorbringen übersehen. Dementsprechend konnte zu diesem Zeitpunkt noch nicht von einem genügend bestimmten Rückforderungsanspruch ausgegangen werden. Da die Arbeitslosenkasse in der Folge das Beibringen dieser Belege monierte, kann ihr auch nicht angelastet werden, sie habe nicht die erforderlichen Anstrengungen unternommen, um über ihre noch ungenügend bestimmte Forderung innert absehbarer Zeit ein klares Bild zu erhalten (vgl. <ref-ruling> Erw. 4b). Infolgedessen konnte sie sich bei zumutbarer Aufmerksamkeit erst nach Eingang der in Aussicht gestellten Unterlagen am 24. August 1998 abschliessend Rechenschaft über ihren Fehler (Ausrichtung der Kurzarbeitsentschädigung) abgeben, weshalb für die Fristauslösung dieser Tag als massgebend zu betrachten ist. Die vorinstanzlich bestätigte Rückforderungsverfügung vom 21. Mai 1999 ist somit innert der einjährigen Verwirkungsfrist ergangen.

Demnach erkennt das Eidg. Versicherungsgericht:
I. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
II. Es werden keine Gerichtskosten erhoben.
III. Dieses Urteil wird den Parteien, dem Verwaltungsge-
richt des Kantons Graubünden, dem Arbeitsamt Grau-
bünden und dem Staatssekretariat für Wirtschaft zuge-
stellt.
Luzern, 17. Januar 2001
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der IV. Kammer:
Der Gerichtsschreiber: