Sachverhalt:
A. Die X._ AG (Klägerin, Beschwerdeführerin) leitete am 14. Januar 2000 im Zusammenhang mit einem Rahmen-Kaufvertrag, der durch Rücktritt der Vertragspartnerin, Y._ AG (Beklagte, Beschwerdegegnerin), aufgelöst worden war, ein Schiedsverfahren ein. Sie forderte von der Beschwerdegegnerin die Bezahlung ausstehender Rechnungen in Höhe von Fr. 73'674.45 sowie als Teilklage Schadenersatz wegen Vertragsbruchs in Höhe von Fr. 150'000.--. Die Beschwerdegegnerin anerkannte offene Rechnungen in der Höhe von Fr. 74'340.46, erhob jedoch Widerklage und forderte eine Konventionalstrafe von Fr. 14'479.86 sowie ihrerseits Schadenersatz wegen Vertragsbruchs von Fr. 163'309.--, nach Verrechnung mit dem anerkannten Betrag der Klage somit Fr. 103'448.40.
Das angerufene ad-hoc Schiedsgericht mit Sitz in Zürich verpflichtete die Beschwerdegegnerin mit Schiedsurteil vom 8. September 2006, der Beschwerdeführerin Fr. 223'674.45 nebst Zinsen zu bezahlen. Das Obergericht des Kantons Zürich hiess die Nichtigkeitsbeschwerde der Beschwerdegegnerin gegen dieses Schiedsurteil am 5. Februar 2007 gut, hob das Urteil auf und wies die Sache zur Fortsetzung des Verfahrens und neuer Entscheidung an das Schiedsgericht zurück.
Am 19. November 2007 entschied das ad-hoc Schiedsgericht erneut. Es beschloss, auf eine "Klageausdehnung" gemäss Eingabe der Beschwerdeführerin vom 7. Mai 2007 (auf Fr. 9'577'634.61 nebst Zins) werde gestützt auf § 61 in Verbindung mit § 115 der als Verfahrensordnung anwendbaren Zivilprozessordnung des Kantons Zürich (ZPO/ ZH) nicht eingetreten, weil der entsprechende Sachantrag verspätet gestellt wurde. Sodann verpflichtete es die Beschwerdegegnerin unter weitgehender Gutheissung des ursprünglichen Klagebegehrens, der Beschwerdeführerin Fr. 223'674.45 zuzüglich verschiedener Zinsbetreffnisse zu bezahlen. Die Widerklage wies es ab und auferlegte die Kosten des Schiedsverfahrens vollumfänglich der Beschwerdegegnerin. Zur Begründung der Kostenverlegung führte es aus, die Beschwerdeführerin habe mit Ausnahme einer geringfügigen Einschränkung ihrer Zinsforderung und ihres Antrages auf "Klageausdehnung", auf den das Schiedsgericht nicht eintrete, praktisch vollumfänglich obsiegt und die Widerklage der Beschwerdegegnerin sei vollumfänglich abgewiesen worden.
Mit Zirkular-Erledigungsbeschluss vom 2. Mai 2008 wies das Obergericht des Kantons Zürich eine Nichtigkeitsbeschwerde der Beschwerdeführerin gegen diesen zweiten Schiedsgerichtsentscheid ab. Es erachtete namentlich die Kostenverlegung durch das Schiedsgericht als nicht willkürlich.
Am 4. September 2008 hiess das Bundesgericht eine von der Beschwerdegegnerin gegen diesen Entscheid erhobene Beschwerde in Zivilsachen insoweit teilweise gut, als sie die Kostenregelung im Schiedsurteil zum Gegenstand hatte und hob den angefochtenen Entscheid in diesem Punkt auf (Verfahren 4A_288/2008). Es kam zum Schluss, das Obergericht habe Art. 36 lit. f KSG verletzt, indem es die vollumfängliche Kostenauflage zulasten der Beschwerdegegnerin nicht als willkürlich aufgehoben habe, obwohl nicht davon die Rede sein könne, dass die Beschwerdeführerin praktisch vollumfänglich obsiegt hätte, wenn das Schicksal ihres Antrages auf "Klageausdehnung" mit berücksichtigt werde. Das Bundesgericht verwarf dabei insbesondere die Ansicht der Beschwerdeführerin, die Klageausdehnung sei nie zum Gegenstand des Verfahrens geworden, nachdem sie wegen Verspätung nicht zugelassen worden sei. Das Schiedsgericht sei auch unter Berücksichtigung des weiten Ermessens bei nur teilweisem Obsiegen bzw. Unterliegen von anerkannten Rechtsgrundsätzen in krasser Weise abgewichen.
B. Mit Beschluss vom 9. Dezember 2008 hob das Obergericht daraufhin das Schiedsurteil vom 19. November 2007 bezüglich der Kostenfolgen auf. Das Schiedsgericht setzte am 27. Februar 2009 die Schiedsgebühr inkl. Auslagen neu auf Fr. 207'297.15 fest und auferlegte diese zu 96% der Beschwerdeführerin und zu 4% der Beschwerdegegnerin. Zudem verpflichtete es die Beschwerdeführerin, der Beschwerdegegnerin eine Parteientschädigung von Fr. 46'257.90 zu bezahlen.
Eine von der Beschwerdeführerin gegen diesen Kostenentscheid erhobene Nichtigkeitsbeschwerde wies das Obergericht mit Zikular-Erledigungsbeschluss vom 24. März 2010 ab.
C. Die Beschwerdeführerin beantragt mit Beschwerde in Zivilsachen, diesen Entscheid des Obergerichts sowie den Schiedsentscheid vom 27. Februar 2009 aufzuheben, was die Kosten- und Entschädigungsfolgen des gesamten Schiedsverfahrens zwischen den Parteien anbelange, und der Beschwerdegegnerin sämtliche bzw. (eventualiter) einzeln aufgeführte Kosten- und Entschädigungsfolgen des verfahrensgegenständlichen Schiedsverfahrens aufzuerlegen. Eventuell sei die Sache zur Neubeurteilung an das Schiedsgericht, eventuell an das Obergericht zurückzuweisen.
Die Beschwerdegegnerin schliesst auf Abweisung der Beschwerde, soweit darauf einzutreten sei. Das Obergericht verzichtete auf eine Vernehmlassung.
Erwägungen:
1. Im vorliegenden Verfahren wurden die Akten des vorinstanzlichen Verfahrens PN 090074 beigezogen, die u.a. mehrere Ordner mit Akten des Schiedsverfahrens umfassen. Auf den von der Beschwerdeführerin darüber hinaus beantragten Beizug der Akten der früheren obergerichtlichen Verfahren PN 080006 und PN 060217 kann verzichtet werden, da die Vorbringen in der Beschwerde auch ohne diese beurteilt werden können.
Die Beschwerdeführerin hat zur Untermauerung ihres Rechtsstandpunkts ein Rechtsgutachten eingereicht. Die Beschwerdegegnerin beantragt, dieses aus dem Recht zu weisen, weil es erst mit der Nichtigkeitsbeschwerde an das Obergericht vom 6. April 2009 eingereicht worden sei. Hierzu ist zu bemerken, dass Vorschriften, nach denen neue Tatsachenbehauptungen und Beweismittel nur bis zu einem bestimmten Verfahrensstadium zulässig sind, für rechtliche Erörterungen grundsätzlich nicht gelten (vgl. für das bundesgerichtliche Verfahren: Art. 99 Abs. 1 BGG e contrario; BGE 130 III 136 E. 1.4; Urteil 4A_22/2008 vom 10. April 2008 E. 14; Ulrich Meyer, in: Basler Kommentar, Bundesgerichtsgesetz, 2008, N. 23 zu Art. 99 BGG; Bernard Corboz, in: Corboz et al. [Hrsg.], Commentaire de la LTF, 2009, N. 10 zu Art. 99 BGG). Neue rechtliche Erörterungen sind demnach grundsätzlich zulässig, soweit dem beispielsweise nicht das Erfordernis der Ausschöpfung des kantonalen Instanzenzugs im bundesgerichtlichen Verfahren (BGE 133 III 638 E. 2) oder die Bindungswirkung eines Rückweisungsentscheids, vorliegend namentlich des Bundesgerichtsurteils vom 4. September 2008, entgegensteht (vgl. BGE 135 III 334 E. 2.1). Ob insoweit Anlass besteht, das hier strittige Gutachten aus dem Recht zu weisen, kann allerdings offen bleiben. Denn die Einreichung eines Rechtsgutachtens im bundesgerichtlichen Verfahren ist schon deshalb unbehelflich, weil die rechtliche Begründung der Beschwerde in der Beschwerdeschrift selber enthalten sein muss und blosse Verweise auf andere Aktenstücke ohnehin unbeachtet bleiben müssen (BGE 133 II 396 E. 3.1 S. 400).
2. Anfechtungsgegenstand des vorliegenden Verfahrens ist allein der Entscheid vom 24. März 2010, mit dem das Obergericht gestützt auf Art. 3 lit. f des Konkordats vom 27. März 1969 über die Schiedsgerichtsbarkeit (KSG; AS 1969 S. 1093) über die Nichtigkeitsbeschwerde der Beschwerdeführerin nach Art. 36 ff. KSG entschieden hat (Art. 75 Abs. 1 BGG; BGE 133 III 634 E. 1.1.1). Abgesehen von hier nicht gegebenen Ausnahmefällen kommt bei Beschwerden gegen einen solchen Entscheid einzig dessen Aufhebung und gegebenenfalls eine Rückweisung der Sache an die Vorinstanz oder an das Schiedsgericht in Betracht (BGE 133 III 634 E. 1.1.2/1.1.3).
Demnach kann auf die vorliegende Beschwerde nicht eingetreten werden, soweit die Beschwerdeführerin verlangt, den Schiedsentscheid vom 27. Februar 2009 hinsichtlich der Kosten- und Entschädigungsfolgen des Schiedsverfahrens aufzuheben und der Beschwerdegegnerin sämtliche bzw. einzeln aufgeführte Kosten- und Entschädigungsfolgen des Schiedsverfahrens aufzuerlegen.
3. Nicht eingetreten werden kann sodann auf die Beschwerde auch, soweit die Beschwerdeführerin darin rechtliche Fragen diskutiert, die vom Bundesgericht in seinem Entscheid vom 4. September 2008 für den vorliegenden Fall bereits verbindlich entschieden wurden, oder soweit ihre Argumentation mit der rechtlichen Argumentation des Bundesgerichts in jenem Urteil im Widerspruch steht (vgl. dazu BGE 135 III 334 E. 2.1). Dies gilt insbesondere, soweit die Beschwerdeführerin in Frage stellt, ob die Klageausdehnung auf über Fr. 9.5 Mio. im Schiedsverfahren überhaupt streitgegenständlich geworden sei und ob die Beschwerdeführerin hinsichtlich des Betrages der Klageausdehnung überhaupt als unterliegende Partei zu betrachten sei, nachdem das Schiedsgericht insoweit auf ihre Klage nicht eingetreten sei (vgl. dazu das genannte Urteil 4A_288/2008 E. 4).
4. Das Bundesgericht überprüft nur den Entscheid der Kassationsinstanz, nicht auch den Schiedsspruch selbst (vgl. BGE 133 III 634 E. 1.1.1). Es prüft dabei mit freier Kognition, ob die Nichtigkeitsbeschwerdeinstanz im Sinne von Art. 3 lit. f KSG einen Nichtigkeitsgrund nach Art. 36 ff. KSG zu Unrecht verneint hat (vgl. BGE 131 I 45 E. 3.3; 119 II 380 E. 3b S. 382; 112 Ia 350 E. 1). Allerdings kann es die Verletzung von Konkordatsrecht bzw. von interkantonalem Recht, wie diejenige von Grundrechten, durch die Vorinstanz nur insoweit prüfen, als eine solche Rüge in der Beschwerde präzise vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG). Der Beschwerdeführer muss klar und detailliert anhand der Erwägungen des angefochtenen Entscheids darlegen, inwiefern die Vorinstanz eine Verletzung von Konkordatsrecht zu Unrecht verneint (vgl. dazu BGE 125 I 492 E. 1a/cc und E. 1b S. 494 ff.) oder verfassungsmässige Rechte verletzt haben soll (BGE 134 I 83 E. 3.2; 134 V 138 E. 2.1; 133 II 396 E. 3.1 S. 399; 133 III 393 E. 6, 589 E. 2 S. 591 f., je mit Hinweisen). Der Beschwerdeführer soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die er im kantonalen Verfahren gegen den Schiedsentscheid eingenommen hat, erneut bekräftigen oder neu vortragen, sondern mit seiner Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (BGE 134 II 244 E. 2.1 S. 245 f.; 133 IV 286 E. 1.4 S. 287; 134 V 53 E. 3.3). Die Begründung der vorliegenden Beschwerde genügt diesen Anforderungen nicht, soweit sie sich bloss gegen die Erwägungen des Schiedsgerichts richtet, ohne dass dargetan wird, inwiefern die Vorinstanz bei der Würdigung entsprechender Vorbringen im kantonalen Verfahren Normen des KSG verletzt bzw. einen in Art. 36 KSG vorgesehenen Beschwerdegrund zu Unrecht als nicht gegeben betrachtet haben soll. Insoweit ist auf die Beschwerde nicht einzutreten.
Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Zu dem von der Vorinstanz grundsätzlich verbindlich festgestellten Sachverhalt gehören nicht nur die Feststellungen über den Lebenssachverhalt, der dem Streitgegenstand zugrunde liegt, sondern auch jene über den Ablauf des vorinstanzlichen Verfahrens und von diesem vorangegangenen Verfahren, wie namentlich die Parteivorbringen in denselben, also die Feststellungen über den Prozesssachverhalt (Urteil 4A_210/2009 vom 7. April 2010 E. 2). Das Bundesgericht kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (BGE 133 II 249 E. 1.2.2). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein (Art. 97 Abs. 1 BGG). Der Beschwerdeführer, der die Sachverhaltsfeststellungen der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern die gerügten Feststellungen bzw. die Unterlassung von Feststellungen offensichtlich unrichtig sind oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruhen (vgl. BGE 133 II 249 E. 1.4.3; 133 III 350 E. 1.3, 393 E. 7.1, 462 E. 2.4). Soweit der Beschwerdeführer den Sachverhalt ergänzen will, hat er zudem mit Aktenhinweisen darzulegen, dass er entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (Urteile 4A_214/2008 vom 9. Juli 2008 E. 1.2, nicht publ. in: BGE 134 III 570; 4A_526/2008 vom 21. Januar 2009 E. 3.2). Auf eine Kritik an den tatsächlichen Feststellungen der Vorinstanz, die diesen Anforderungen nicht genügt, ist nicht einzutreten (BGE 133 II 249 E. 1.4.3), ebenso wenig auf Vorbringen, die in den tatsächlichen Feststellungen der Vorinstanz keine Stütze finden, ohne dass dazu eine taugliche Sachverhaltsrüge im vorstehenden Sinne substanziiert wird, oder auf Rügen, die auf solchen Vorbringen aufbauen.
5. Die vorliegende Beschwerdeschrift genügt den in vorstehender Erwägung 4 dargestellten Anforderungen an die Begründung nicht.
Die Beschwerdeführerin stellt ihren darin enthaltenen rechtlichen Ausführungen zunächst eine umfassende eigene Sachverhaltsdarstellung voran. Sie weicht darin - wie auch in ihrer weiteren Beschwerdebegründung - in zahlreichen Punkten von den tatsächlichen Feststellungen der Vorinstanz ab oder erweitert diese. So beispielsweise, indem sie umfassende Ausführungen über den Verlauf des Schiedsverfahrens und ihre Motive für die Klageausdehnung auf über Fr. 9.5 Mio. macht oder behauptet, das Schiedsgericht habe ihr sämtliche Verfahrenskosten auferlegt oder sie sei im Schiedsverfahren mit ihrem Klagebegehren vollumfänglich durchgedrungen. Da sie keinerlei Sachverhaltsrügen im vorstehenden Sinne substanziiert, haben ihre entsprechenden Vorbringen unbeachtet zu bleiben und kann auf darauf basierte Rügen nicht eingetreten werden.
Sodann formuliert die Beschwerdeführerin keinerlei hinreichend substanziierte Rügen gegen das vorinstanzliche Urteil, in denen sie eine Verletzung von Konkordatsrecht durch die Vorinstanz dartun würde. Vielmehr kritisiert sie in ihrer Rechtsschrift grösstenteils direkt den Schiedsentscheid (und dies zudem in weitgehend appellatorischer und damit unzulässiger Weise) als willkürlich und folgert, das Obergericht sei auch in Willkür verfallen, indem es Willkür verneint habe, ohne sich indessen mit dessen Erwägungen zu den fraglichen Kritikpunkten hinreichend auseinanderzusetzen und darzulegen, inwiefern es damit Willkür bzw. eine Konkordatsverletzung zu Unrecht verneint haben soll.
Zu verschiedenen erhobenen Rügen rechtfertigt es sich, was folgt näher auszuführen:
5.1 Die Beschwerdeführerin rügt, die angefochtene Entscheidung verstosse in mehrfacher Hinsicht gegen interkantonales Recht, insbesondere das Konkordat über die Schiedsgerichtsbarkeit, dort im speziellen gegen Art. 36 lit. d i.V.m. Art. 25 KSG (Nichtigkeitsgrund der Verletzung des Anspruchs auf rechtliches Gehör in einem kontradiktorischen Verfahren) sowie Art. 36 lit. h i.V.m. Art. 33 Abs. 1 lit. e KSG (Nichtigkeitsgrund der Missachtung der Pflicht zur Darstellung des Sachverhalts, der rechtlichen Entscheidgründe und gegebenenfalls der Billigkeitserwägungen).
Sie lässt aber eine Begründung - jedenfalls eine rechtsgenügliche Begründung - zu diesen Vorwürfen vermissen, weshalb auf diese Rügen nicht weiter einzugehen ist.
5.2 Die Beschwerdeführerin ist der Ansicht, die Vorinstanz habe in Verletzung von Art. 36 lit. f KSG verkannt, dass das Schiedsgericht die Kosten willkürlich verlegt und dabei allgemein Rechtsgrundsätze missachtet habe; die Vorinstanz hätte die Kostenverlegung durch das Schiedsgericht, wonach der klagenden Partei der Ersatz beinahe sämtlicher Kosten- und Entschädigungsfolgen des gesamten Schiedsverfahrens auferlegt worden seien, als willkürlich aufheben müssen.
5.2.1 Nach Art. 36 lit. f KSG kann Nichtigkeitsbeschwerde erhoben werden, um geltend zu machen, "der Schiedsspruch sei willkürlich, weil er auf offensichtlich aktenwidrigen tatsächlichen Feststellungen beruht oder weil er eine offenbare Verletzung des Rechts oder der Billigkeit enthält". Die konkordatsrechtliche Umschreibung der Willkür stimmt im Ergebnis mit dem durch die bundesgerichtliche Rechtsprechung zu Art. 9 BV entwickelten Willkürbegriff überein (BGE 131 I 45 E. 3.4). Danach ist ein Entscheid nicht schon dann willkürlich, wenn eine andere Lösung ebenfalls vertretbar erscheint oder gar vorzuziehen wäre, sondern erst dann, wenn er offensichtlich unhaltbar ist, zur tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Willkür liegt nur vor, wenn nicht bloss die Begründung eines Entscheids, sondern auch das Ergebnis unhaltbar ist (BGE 135 V 2 E. 1.3).
5.2.2 Die Vorinstanz führte aus, das Schiedsgericht habe sich für die Verlegung der Schiedskosten auf die ZPO des Kantons Zürich gestützt. Zur Heranziehung anderer Prozessordnungen habe kein Anlass bestanden und weshalb dazu Anlass bestanden hätte, mache die Beschwerdeführerin nicht substanziiert geltend.
Die Beschwerdeführerin zeigt nicht mit Aktenhinweisen auf, dass und inwiefern sie die Nichtberücksichtigung anderer Zivilprozessordnungen im vorinstanzlichen Verfahren entgegen dieser Erwägung rechtsgenüglich als willkürlich gerügt habe. Sie macht bloss geltend, es hätten im Rahmen der Ermessensausübung bei der Kostenverlegung über die aufgrund des Konstituierungsbeschlusses anzuwendende zürcherische ZPO hinaus vergleichend weitere kantonale Zivilprozessordnungen angewendet werden müssen, zumal das Bundesgericht in seinem Urteil vom 4. September 2008 von zu berücksichtigenden allgemeinen Rechtsgrundsätzen gesprochen habe. Dies ist unbehelflich und darauf ist nicht einzutreten.
5.2.3 Die Beschwerdeführerin kritisiert im Wesentlichen, dass das Schiedsgericht ihr die Verfahrenskosten mathematisch genau nach dem betragsmässigen Obsiegen und Unterliegen auferlegt habe, ohne den geringen Aufwand zu berücksichtigen, der für das Schiedsgericht und die Gegenpartei durch die abgelehnte und nur für kurze Zeit streitgegenständlich gewesene Klageausdehnung im Verhältnis zum gesamten Schiedsverfahren angefallen sei. Sie macht geltend, darin liege eine willkürlich Verweigerung der Ermessensausübung.
5.2.3.1 Die Vorinstanz hat in diesem Zusammenhang (zutreffend) festgehalten, die Beschwerdeführerin könne daraus, dass das Bundesgericht mit seinem Urteil vom 4. September 2008 die Sache zur Neufestsetzung der Kostenfolgen zurückgewiesen habe, nichts für eine Notwendigkeit einer Kostenverteilung nach freiem Ermessen ableiten. Denn das Bundesgericht habe ungeachtet der Spruchreife nicht in der Sache entscheiden dürfen (vgl. dazu das genannte Urteil 4A_288/ 2008 vom 4. September 2008 E. 1.1 und die vorstehende Erwägung 2). Auch insoweit beharrt die Beschwerdeführerin, ohne auf diese Erwägung einzugehen, bloss auf ihrem Standpunkt, aus der Rückweisung durch das Bundesgericht hätte abgeleitet werden müssen, dass zwingend eine freie Ermessensausübung stattfinden müsse. Damit verfehlt sie die Begründungsanforderungen.
5.2.3.2 Nach § 64 Abs. 2 ZPO/ZH werden die Gerichtskosten in der Regel der unterliegenden Partei auferlegt. Obsiegt keine Partei vollständig, werden die Kosten verhältnismässig verteilt. Von dieser Regel kann nach § 64 Abs. 3 ZPO/ZH insbesondere dann abgewichen werden, wenn die unterliegende Partei sich in guten Treuen zur Prozessführung veranlasst sah oder wenn dem Kläger die genaue Bezifferung seines Anspruchs nicht zuzumuten war und seine Klage grundsätzlich gutgeheissen wurde. Im entsprechenden Verhältnis sind nach § 68 Abs. 1 ZPO Parteientschädigungen aufzuerlegen. Die Vorinstanz verwarf die Ansicht der Beschwerdeführerin, dass bei der Verteilung der Kosten nach diesen Bestimmungen das Kausalitätsprinzip im Vordergrund stehe bzw. die Kostenverteilung nach Verursachung zu erfolgen habe. § 64 Abs. 2 ZPO/ZH stelle eine Regel dar, von der - laut Ausnahme von Abs. 3 - insbesondere dann abgewichen werden könne, wenn einer, der in dieser Bestimmung genannten Fälle oder eine vergleichbare Situation vorliege. Die Beschwerdeführerin habe indessen nicht geltend gemacht bzw. begründet, weshalb eine solche Situation vorliege und weshalb eine Anwendung von § 64 Abs. 3 ZPO/ZH geboten gewesen wäre. Der Versuch, aus § 64 Abs. 2 und 3 ZPO/ZH eine Ermessenspflicht herzuleiten, deren Nichtbeachtung mit krasser Rechtsverletzung gleichzusetzen wäre, schlage daher fehl. Die Beschwerdeführerin irre sodann auch, soweit sie dafür halte, eine Partei unterliege mit einer Klage bloss dann, wenn sie damit materiell unterliege, nicht aber, wenn darauf - wie hier auf das erweiterte Rechtsbegehren auf Bezahlung von über Fr. 9.5 Mio. - wegen fehlender Prozessvoraussetzung nicht eingetreten werde.
Die Beschwerdeführerin befasst sich in ihrer Beschwerde auch mit diesen vorinstanzlichen Ausführungen nicht rechtsgenüglich, sondern beharrt bloss in seitenlangen Ausführungen auf ihren Standpunkten, dass das Schiedsgericht in Willkür verfallen sei, indem es bei der Kostenverteilung nicht berücksichtigt habe, dass die Klageausdehnung im Verhältnis zu den gesamten Kosten des Schiedsgerichtsverfahrens nur einen geringen Aufwand verursacht habe, und dass die Beschwerdeführerin "verfahrensgegenständlich" vollumfänglich obsiegt habe; dies ohne rechtsgenüglich zu begründen, weshalb die Vorinstanz zu Unrecht verneint haben soll, dass das Schiedsgericht in Willkür verfallen wäre, indem es das Kausalitätsprinzip bei der Kostenverteilung nicht ermessensweise zur Anwendung brachte und indem es die Beschwerdeführerin infolge ihres Unterliegens aus prozessualen Gründen als zu 96 % unterliegend betrachtete. Darauf kann nicht eingetreten werden, zumal die Argumentation der Beschwerdeführerin weitgehend auch die Bindungswirkung des Bundesgerichtsurteils vom 4. September 2008 missachtet (Erwägung 3).
5.2.3.3 Die Vorinstanz sah auch darin keine Willkür, dass das Schiedsgericht der Beschwerdeführerin nicht in Anwendung von § 66 ZPO/ZH bloss die (tatsächlichen) Kosten, die die Klageausdehnung verursacht hat, als unnötige Kosten auferlegte. Sie hielt dafür, diese Bestimmung, nach der eine Partei von ihr unnötigerweise verursachte Kosten ohne Rücksicht auf den Ausgang des Prozesses zu tragen hat, beziehe sich auf Kosten und Umtriebe, die nicht durch den Prozess als solchen, sondern innerhalb des Prozesses im Laufe der Verfahrens durch schuldhaftes oder ordnungswidriges Verhalten einer Partei entstünden. Vorliegend gehe es indes um etwas anderes, nämlich um das von der Beschwerdeführerin zu tragende Risiko, mit ihrer Klageausdehnung nicht durchzudringen. Auch mit dieser vorinstanzlichen Erwägung setzt sich die Beschwerdeführerin nicht rechtsgenüglich auseinander, indem sie bloss darauf beharrt, vorliegend wäre § 66 Abs. 1 ZPO/ZH zwingend anzuwenden gewesen, teilweise gestützt auf den Begriff der unnötigen Kosten nach der st. gallischen ZPO (vgl. dazu auch Erwägung 5.2.2).
5.2.4 Die Vorinstanz verneinte, dass der Kostenspruch des Schiedsgerichts aufzuheben sei, weil er im Sinne von Art. 36 lit. f KSG als offenbar unbillig erschiene; wenn das Resultat auch unbefriedigend erscheine, sei es doch nicht derart stossend, dass es kassiert werden müsste. Es bleibe umso weniger Raum für Beanstandungen, weil das Schiedsgericht im Einklang mit dem Aequivalenzprinzip den durch die Klageausdehnung - die mit nur geringen Umtrieben verbunden gewesen sei - auf über Fr. 9.7 Mio. hochgeschnellten Streitwert nicht in ihre Gebührenrechnung einbezogen habe, sondern die Honorare seiner Mitglieder so belassen habe, wie es bereits in den früheren Schiedssprüchen der Fall gewesen sei. Es ist unbehelflich, wenn die Beschwerdeführerin, ohne sich mit dieser Erwägung auseinanderzusetzen, bloss darauf beharrt, der Kostenspruch des Schiedsgerichts sei in höchstem Masse unbillig, weil er den geringen Aufwand, der durch die Klageausdehnung verursacht worden sei, bei der Kostenverteilung nicht berücksichtige.
Es kann damit offen bleiben, ob - wie die Beschwerdegegnerin bestreitet - eine zusätzliche Prüfung, ob die Kostenverteilung auch der Billigkeit entspricht, überhaupt angezeigt gewesen ist, nachdem das Schiedsgericht nach Recht und nicht nach Billigkeit zu entscheiden gehabt habe und eine Gesetzesverletzung nicht vorliege.
5.2.5 Die Beschwerdeführerin erhebt sodann keine rechtsgenüglich begründete Rüge, soweit sie ohne jeden Aktenhinweis als "willkürlich" rügt, dass die Vorinstanz auf ihren Vorwurf der Verletzung des Verhältnismässigkeitsprinzips und auf ihr schlagendes Argument nicht eingegangen sei, wonach es widersprüchlich sei, bei der Bemessung der Gerichtsgebühr nicht von einem Streitwert von über Fr. 9 Mio. auszugehen, als wären die Fr. 9 Mio. nie verfahrensgegenständlich gewesen, dann aber die Prozesskostenentscheidung so zu fällen, als wären die Fr. 9 Mio. immer Gegenstand des Verfahrens gewesen. Darauf ist schon nicht einzutreten, weil sich aus dem angefochtenen Entscheid nicht ergibt, dass die Beschwerdeführerin die entsprechenden Rügen im vorinstanzlichen Verfahren erhoben hat (vgl. Erwägung 4 vorne und BGE 133 III 638 E. 2 S. 640).
Zur Begründung des Vorwurfs der Widersprüchlichkeit müsste die Beschwerdeführerin sodann die Erwägungen der Vorinstanz widerlegen, nach denen die Bemessung der Höhe der Kosten und deren Verteilung sich nicht nach denselben Grundsätzen bestimmen, nämlich die Bemessung nach dem Aequivalenzprinzip und die Verteilung nach Obsiegen und Unterliegen. Dies tut sie indessen nicht einmal ansatzweise.
5.2.6 Auch auf die erhobene Rüge der Verletzung des Rechtsgleichheitsgebots ist nach dem Ausgeführten von vornherein nicht einzutreten, da diese auf derselben unzulässigen Kritik wie die erwähnten Willkürrügen basiert.
6. Zusammenfassend ist auf die Beschwerde nicht einzutreten. Bei diesem Verfahrensausgang wird die Beschwerdeführerin kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Auf die Beschwerde wird nicht eingetreten.
2. Die Gerichtskosten von Fr. 6'500.-- werden der Beschwerdeführerin auferlegt.
3. Die Beschwerdeführerin hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 7'500.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, III. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 13. Oktober 2010
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Der Gerichtsschreiber:
Klett Widmer