Sachverhalt:
A. A._ und B._ waren anfangs der 1990er Jahre Alleinaktionäre der Z._ AG. Nach dem Verkauf der Aktien schloss die Z._ AG mit ihnen Anstellungsverträge als Verwaltungsräte, Geschäftsleitungsmitglieder und Handelsreisende ab. Mit Schreiben vom 27. Oktober 1998 kündigten beide fristlos und traten aus dem Verwaltungsrat aus.
Am 9. November 1998 änderte die Z._ AG ihre Firma in Y._ AG um. A._ und B._ arbeiteten in der Folge für die X._ AG.
B. B.a A._ und B._ klagten am 29. Dezember 2000 bzw. 12. Februar 2001 beim Arbeitsgericht Zürich gegen die Y._ AG auf Bezahlung von Fr. 1'325'099.-- bzw. Fr. 585'545.-- für ausstehende Gehälter und als Schadenersatz; die Verfahren wurden vereinigt.
Die Y._ AG schloss auf Abweisung und widerklageweise namentlich auf Bezahlung vom mindestens Fr. 2'600'000.-- durch A._ bzw. Fr. 1'660'000.-- durch B._ als Schadenersatz infolge Verletzung des Konkurrenzverbotes.
Im Rahmen des Verfahrens beantragte die Y._ AG die Edition verschiedener Dokumente im Besitz der X._ AG. Diese widersetzte sich.
Mit Beschluss vom 6. Februar 2009 wies das Arbeitsgericht, gestützt auf § 184 altZPO/ZH, die X._ AG an, verschiedene Dokumente einzureichen, so namentlich mit Ziff. 1.10 des Beschlusses "alle Rechnungen zu allen von der X._ AG mit den Klägern [A._ und B._] gemäss nachfolgender Kundenliste (sämtliche von den Klägern zum Zeitpunkt ihres Ausscheidens bei der Beklagten [Y._ AG bzw. Z._ AG] betreuten Zahnärzte und weiteren Kunden) in den Jahren 1998 bis 2001 getätigten Geschäftsabschlüsse". Es folgt eine Liste mit 139 Namen.
B.b Die X._ AG reichte beim Obergericht Rekurs ein. Sie schloss hauptsächlich auf vollumfängliche Aufhebung der Ziff. 1.10 des erstinstanzlichen Beschlusses, eventuell auf Anerkennung eines Verweigerungsrechts und subeventuell auf Anordnung von Schutzmassnahmen zur Wahrung des Geschäftsgeheimnisses; sie schloss ferner dahin, es sei die Vorinstanz oder die Y._ AG zu verpflichten, für den Fall der Edition ihr die dadurch entstehenden Kosten zu ersetzen.
Die Y._ AG schloss auf Abweisung des Rekurses; A._ und B._ erklärten sich als nicht beschwert.
Das Obergericht (I. Zivilkammer) hiess den Rekurs mit Beschluss vom 13. April 2011 teilweise gut. Es bestätigte die angefochtene Ziff. 1.10, ergänzte sie aber wie folgt: "Die X._ AG hat in Anwendung von § 8 der Verordnung der obersten kantonalen Gerichte über die Entschädigung von Zeugen und Zeuginnen, Auskunftspersonen und Sachverständigen (Entschädigungsverordnung der obersten Gerichte) vom 11. Juni 2002 Anspruch darauf, für die Edition der in Dispositivziffer 1.10 erwähnten Rechnungen angemessen entschädigt zu werden. Die Entschädigung wird durch das mit der Sache befasste Gericht festgesetzt, unter Vorbehalt allfällig zur Verfügung stehender Rechtsmittel (§ 11 Entschädigungsverordnung der obersten Gerichte). Letztlich werden die Parteien durch Begleichung der Gerichtskosten für die Entschädigung aufzukommen haben."
C. C.a Die X._ AG reichte Beschwerde in Zivilsachen beim Bundesgericht ein, mit welcher sie die verfügte Edition anfocht (Verfahren 4A_317/2011).
Mit Entscheid vom heutigen Tag ist das Bundesgericht mangels Beschwerdefähigkeit des obergerichtlichen Editionsbeschlusses auf die Beschwerde nicht eingetreten.
C.b Die Y._ AG (nachfolgend: Beschwerdeführerin) reichte ihrerseits Beschwerde in Zivilsachen ein, mit welcher sie die Entschädigung der X._ AG (nachfolgend: Beschwerdegegnerin) für die Editionskosten und die Parteikostenverteilung anficht. Sie schliesst hauptsächlich dahin, die Beschwerdegegnerin sei zur kostenlosen Edition zu verpflichten und es seien ihr die Gerichts- und Parteikosten des kantonalen Rekursverfahrens aufzuerlegen.
Die Beschwerdegegnerin schliesst auf Nichteintreten auf die Beschwerde, subsidiär auf deren Abweisung.
Mit Präsidialverfügung vom 11. Juli 2011 wurde der Beschwerde die aufschiebende Wirkung erteilt.
Erwägungen:
1. Der angefochtene Beschluss des Obergerichtes ist ein Zwischenentscheid im Sinne von Art. 93 BGG (vgl. Urteil 4A_317/2011 vom 16. August 2011 E. 1). Solche Entscheide sind nur ausnahmsweise unmittelbar beschwerdefähig, wenn sie einen nicht wieder gutzumachenden Nachteil bewirken können (Art. 93 Abs. 1 Bst. a BGG) oder wenn die Gutheissung der Beschwerde sofort einen Endentscheid herbeiführen und damit einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen würde (Art. 93 Abs. 1 Bst. b BGG).
1.1 Laut Beschwerdeführerin droht ihr ein nicht wieder gutzumachender Nachteil dadurch, dass sie, gestützt auf den angefochtenen Beschluss, der die Entschädigungspflicht grundsätzlich bejaht, gemäss dem noch anwendbaren § 83 Abs. 1 altZPO/ZH (vgl. Art. 404 Abs. 1 ZPO) verpflichtet werden könnte, einen Vorschuss für die Editionskosten zu leisten, unter der Androhung, bei Nichtleistung würden die von ihr beantragten Editionsmassnahmen unterbleiben. Sie beruft sich auf Entscheide zur vormaligen staatsrechtlichen Beschwerde, laut welchen Kostensicherungsauflagen, deren Nichteinhaltung den Verlust des Klagerechtes oder eines Rechtsmittels nach sich ziehen, für den Betroffenen einen nicht wieder gutzumachenden Nachteil zur Folge haben (BGE 77 I 42 E. 2).
Eine Verfügung, mit welcher die Beschwerdeführerin unter Androhung von Säumnisfolgen aufgefordert würde, einen Vorschuss zur Deckung der Editionskosten der Beschwerdegegnerin zu leisten, liegt nicht vor. Auch wenn eine solche Verfügung einen nicht wieder gutzumachenden Nachteil für die Beschwerdeführerin zur Folge hätte, ist die vorliegende Beschwerde zumindest verfrüht. Dass die Leistung eines Vorschusses für die Vornahme einer Prozesshandlung einen nicht wieder gutzumachenden Nachteil rechtlicher Natur bewirken soll, ist im Übrigen nicht evident. Denn der Vorschusspflichtige kann die Verpflichtung zur Leistung des Vorschusses mit dem Endentscheid anfechten und die Rückzahlung des beim Gericht deponierten Geldes, allenfalls mit Zins, verlangen. Ein nicht wieder gutzumachender, materieller Nachteil ist deshalb nicht ersichtlich (contra: BGE 93 I 401 E. 2).
Es ist allerdings hervorzuheben, dass die Rechtsprechung zur staatsrechtlichen Beschwerde die Begriffe des Nachteils als materielle und des Nachteils als formell-prozessuale Beschwerdevoraussetzung unterschied: jener liegt in der Beeinträchtigung des Beschwerdeführers in seiner materiellen Rechtsstellung, dieser in der Verweigerung der Verfassungskontrolle, d.h. in der Beeinträchtigung seiner formellen Rechtsstellung (vgl. BGE 116 Ia 446 E. 2, 71 I 383 E. 1). In Bezug auf Sicherheitsleistungen für die Dauer des Prozessverfahrens hat denn das Bundesgericht schliesslich einen nicht wieder gutzumachenden Nachteil bejaht, weil die Sicherheitsleistung mit dem Endurteil dahinfällt und deren Anordnung folglich nicht mehr auf ihre Verfassungsmässigkeit überprüft werden kann (BGE 97 I 209 E. 1b in fine); der angenommene Nachteil war formeller Art. Nun hat aber das Bundesgericht in einem kürzlich ergangenen Entscheid ausdrücklich die Frage aufgeworfen, ob an dieser Rechtsprechung zum formellen Nachteil festgehalten werden kann oder ob nicht allein ein materieller Nachteil massgebend ist für die Frage, ob ein Zwischenentscheid selbstständig beschwerdefähig ist (BGE 4A_178/2011 vom 28. Juni 2011 E. 1.1, zur Publikation bestimmt).
1.2 Sodann bringt die Beschwerdeführerin vor, mit Gutheissung ihrer Beschwerde könnte sofort ein Endentscheid hinsichtlich der Frage der Entschädigungspflicht der Aktenedition herbeigeführt werden, womit zum jetzigen Zeitpunkt ein bedeutender Aufwand an Zeit und Kosten gespart werden könnte. Ein Endentscheid im Sinne von Art. 93 BGG ist der Endentscheid in der Hauptsache (BGE 133 III 629 E. 2.4.1); ein solcher kann offensichtlich nicht bewirkt werden. Sodann ist nicht ersichtlich, inwiefern mit einem sofortigen Entscheid zum Prinzip des Kostenersatzes ein bedeutender Aufwand an Zeit und Kosten für ein weitläufiges Beweisverfahren erspart würde.
2. Die Änderung der Gerichts- und Parteikostenverteilung wird nur mit der Gutheissung der Beschwerde zur Frage des Kostenersatzes begründet. Es ist folglich nicht weiter darauf einzugehen; es könnte ohnehin nicht eingetreten werden (BGE 135 III 329 E. 1.2).
3. Bei diesem Ausgang des Verfahrens wird die Beschwerdeführerin kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Auf die Beschwerde wird nicht eingetreten.
2. Die Gerichtskosten von Fr. 4'000.-- werden der Beschwerdeführerin auferlegt.
3. Die Beschwerdeführerin bezahlt der Beschwerdegegnerin eine Parteientschädigung von Fr. 5'000.--.
4. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, I. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 16. August 2011
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Der Gerichtsschreiber: Hurni