Sachverhalt:
A. A.a Die Stiftung Y._ in Liquidation (Beschwerdegegnerin) ist eine Stiftung mit Sitz in Z._, welche die Verwirklichung der beruflichen Vorsorge im Sinne des Bundesgesetzes über die berufliche Alters-, Hinterlassenen- und Invalidenvorsorge (BVG; SR 831.40) bezweckte. Mit Verfügung des Bundesamts für Sozialversicherungen vom 16. Januar 1996 ist die Stiftung aufgehoben und ihre Liquidation sowie Löschung im Register für berufliche Vorsorge angeordnet worden. Die Liquidation ist gegenwärtig noch im Gange.
Die X._ (Beschwerdeführerin) ist eine Aktiengesellschaft mit Sitz in Q._, welche den Betrieb jeder Art von Lebens- und Rentenversicherung (inkl. Unfall-, Kranken- und Invaliditäts-Zusatzversicherung), der selbständigen Kranken- und Invaliditätsversicherung sowie der Rückversicherung in diesen Zweigen bezweckt.
A.b Die Beschwerdegegnerin schloss in den Jahren vor 1996 mit den Vorsorgewerken von 11 Arbeitgebern Anschlussvereinbarungen zwecks Verwirklichung der beruflichen Vorsorge im Sinne des BVG. Darin verpflichtete sich die Beschwerdegegnerin, mit der Beschwerdeführerin die notwendigen Versicherungen abzuschliessen. In Erfüllung dieser Pflicht schloss sie in der Folge als Versicherungsnehmerin mit der Beschwerdeführerin 13 Kollektivlebensversicherungsverträge. Nachdem die Beschwerdegegnerin im Januar 1996 aufgehoben wurde, sahen sich die ihr angeschlossenen Vorsorgewerke gezwungen, die Anschlussvereinbarungen mit der Beschwerdegegnerin aufzulösen und sich per 1. Februar 1996 einem neuen Vorsorgeträger anzuschliessen. Damit wurden gleichzeitig auch die Kollektivlebensversicherungsverträge zwischen den Parteien mit Wirkung per 31. Januar 1996 aufgelöst.
Im Mai 1996 forderte die Beschwerdegegnerin die Vorsorgewerke dazu auf, Prämienrückstände auszugleichen durch Zahlung an die Beschwerdeführerin, welche auch bisher das Inkasso besorgt hatte. Im August 1996 erstellte die Beschwerdeführerin zuhanden der Vorsorgewerke Abrechnungen. Von September 1996 bis April 1997 zahlten die Vorsorgewerke die Prämienausstände an die Beschwerdeführerin in der Folge grösstenteils. Im November 1996 leistete die Beschwerdeführerin gestützt auf ihre Abrechnungen vom August 1996 Zahlungen an die Beschwerdegegnerin und an die Stiftung R._ der X._ (Stiftung S._), der sich in der Zwischenzeit die meisten Vorsorgewerke angeschlossen haben.
Mit Schreiben vom 29. August 1997 wies die Beschwerdegegnerin die Beschwerdeführerin an, die im November 1996 unrechtmässig zurückbehaltenen Auflösungswerte (Deckungskapital) an die Stiftung S._ zu überweisen. Im September 1998 wiederum verlangte die Beschwerdegegnerin von den Vorsorgewerken die Begleichung der ihr gegenüber bestehenden Prämienausstände zwecks Weiterleitung an die neue Vorsorgeeinrichtung. Zwischen November 1999 und April 2000 erstellte die Beschwerdegegnerin provisorische Schlussabrechnungen zuhanden der Vorsorgewerke und nahm auch Überweisungen an die neuen Vorsorgeeinrichtungen vor.
A.c In der Folge entzündete sich zwischen den Parteien ein Streit über ausstehende Ansprüche aus den per 31. Januar 1996 aufgelösten Kollektivlebensversicherungsverträgen. Die Beschwerdegegnerin machte geltend, die Beschwerdeführerin habe ihr den Rückkaufswert bei Auflösung der Verträge zu erstatten. Diesen Wert habe die Beschwerdegegnerin mit Abrechnung vom 26. August 1996 berechnet. Die Beschwerdeführerin habe aber vom Anspruch der Beschwerdegegnerin die zum Zeitpunkt der Abrechnung ausstehenden Prämien in Abzug gebracht. In diesem Umfang sei die Beklagte ihren Pflichten aus den Kollektivlebensversicherungsverträgen nicht nachgekommen. Die nachträglich bei der Beschwerdeführerin eingegangenen Prämienzahlungen stünden damit nicht dieser zu, sondern der Beschwerdegegnerin. In Erfüllung der Pflicht zur Erstattung der Rückkaufswerte sei die Beschwerdeführerin daher zur Bezahlung der nachträglich eingegangenen Prämien im Betrag von Fr. 787'470.20 zuzüglich Zins an die Beschwerdegegnerin verpflichtet.
B. B.a Am 21. Februar 2005 reichte die Beschwerdegegnerin beim Handelsgericht des Kantons Zürich gegen die Beschwerdeführerin Klage ein mit u.a. den folgenden Anträgen:
"1. Es sei die Beklagte aus nach dem 31. Januar 1996 für Rechnung der Kollektivlebensversicherungsverträge gemäss Rechtsbegehren Nr. 2 bei ihr eingegangenen Prämienzahlungen zur Zahlung von CHF 787'470.20, Zins zu 5% seit wann rechtens sowie Betreibungskosten in Höhe von CHF 410.-- an die Klägerin zu verpflichten.
Es sei vorzumerken, dass die Geltendmachung weiterer Ansprüche aus den Kollektivlebensversicherungsverträgen gemäss Rechtsbegehren Nr. 2 vorbehalten bleibt.
2. Es sei die Beklagte unter Strafandrohung nach Art. 292 StGB anzuweisen, der Klägerin Auskunft zu erteilen und zu belegen, wann bei ihr die ausstehenden Prämienzahlungen per 31. Januar 1996 der nachfolgenden Vorsorgewerke eingegangen sind:
[Liste von Vorsorgewerken]
Es sei der Klägerin nach Eingang der Auskunft gemäss Rechtsbegehren Nr. 2 Gelegenheit zu geben, ihren Zinsanspruch gemäss Rechtsbegehren Nr. 1 zu konkretisieren."
In der Replikschrift vom 26. Februar 2007 formulierte die Beschwerdegegnerin ihr Rechtsbegehren sodann wie folgt:
"1. Es sei die Beklagte zu verpflichten, der Klägerin CHF 787'880.20 zu bezahlen sowie Verzugszins zu 5% auf
CHF 2'865.95 seit 12.04.1997,
CHF 8'106.30 seit 08.01.1997,
CHF 7'090.40 seit 12.04.1997,
CHF 5'550.80 seit 08.01.1997,
CHF 1'167.20 seit 25.06.1997,
CHF 1'552.30 seit 20.02.1997,
CHF 675'193.95 seit 30.11.1996,
CHF 16'326.25 seit 01.11.1996,
CHF 3'320.30 seit 08.01.1997,
CHF 1'730.00 seit 25.06.1997,
CHF 5'445.80 seit 13.09.1996,
CHF 1'659.95 seit 07.09.1996,
CHF 303.95 seit 04.10.1996,
CHF 430.85 seit 12.04.1997,
CHF 23'325.45 seit 12.04.1997,
CHF 22'317.60 seit 12.04.1997,
CHF 1'446.70 seit 02.09.1999.
Es sei vorzumerken, dass die Geltendmachung weiterer Ansprüche aus den Kollektivlebensversicherungsverträgen gemäss Rechtsbegehren Nr. 2 der Klage vom 21. Februar 2005 erhalten bleibt."
Mit Urteil vom 29. März 2011 hiess das Handelsgericht die Klage teilweise gut und verurteilte die Beschwerdeführer zur Zahlung eines Betrags von Fr. 777'991.70 (inkl. Betreibungskosten von Fr. 410.--) sowie Zins zu 5% auf den von der Beschwerdegegnerin im reformulierten Rechtsbegehren bezifferten Beträgen.
Das Handelsgericht kam zusammenfassend zum Schluss, dass die Beschwerdegegnerin gegenüber der Beschwerdeführerin einen Anspruch auf die zu Rückkaufswerten gewordenen nachträglichen Prämieneingänge hat und die Beschwerdeführerin den Beweis für ihre Behauptung, dass sie die entsprechenden Beträge bereits an die Beschwerdegegnerin überwiesen habe, nicht erbringen konnte. Die Beschwerdeführerin schulde daher die Erfüllung der Rückkaufsforderung im Umfang der Prämieneingänge nach wie vor.
C. Mit Beschwerde in Zivilsachen beantragt die Beschwerdeführerin dem Bundesgericht, es sei das Urteil des Handelsgerichts aufzuheben und die Klage der Beschwerdegegnerin abzuweisen, eventualiter sei die Streitsache an die Vorinstanz zur Neubeurteilung zurückzuweisen. Gleichzeitig ersucht die Beschwerdeführerin um die Erteilung der aufschiebenden Wirkung.
Die Beschwerdegegnerin beantragt in ihrer Vernehmlassung die Abweisung der Beschwerde. Die Vorinstanz hat auf eine Vernehmlassung verzichtet.
Mit Präsidialverfügung vom 15. Juni 2011 wurde der Beschwerde die aufschiebende Wirkung erteilt.
Erwägungen:
1. Das Bundesgericht prüft von Amtes wegen und mit freier Kognition, ob ein Rechtsmittel zulässig ist (BGE 136 II 101 E. 1 S. 103, 470 E. 1 S. 472; 135 III 212 E. 1).
1.1 Die Beschwerde richtet sich gegen einen Endentscheid (Art. 90 BGG) in einer Zivilsache (Art. 72 Abs. 1 BGG), der von einem oberen kantonalen Gericht erging, das als Fachgericht für handelsrechtliche Streitigkeiten und einzige kantonale Instanz eingesetzt ist (Art. 75 Abs. 2 lit. b BGG). Die Rechtsbegehren der Beschwerdeführerin sind im kantonalen Verfahren nicht geschützt worden (Art. 76 Abs. 1 BGG), der massgebende Streitwert beträgt mehr als Fr. 30'000.-- (Art. 51 i.V.m. Art. 74 Abs. 1 lit. b BGG) und die Beschwerdefrist ist eingehalten (Art. 100 Abs. 1 BGG).
1.2 Das angefochtene Urteil des Handelsgerichts ist nur insofern der Beschwerde zugänglich, als es das Erfordernis der Letztinstanzlichkeit erfüllt, mithin für die gegen dieses erhobenen Rügen kein kantonales Rechtsmittel mehr offen stand (Art. 75 Abs. 1 BGG; BGE 134 III 524 E. 1.3 S. 527). Gemäss §§ 281 ff. der auf den 1. Januar 2011 aufgehobenen Zivilprozessordnung des Kantons Zürich vom 13. Juni 1976 konnte gegen Urteile des Handelsgerichts kantonale Nichtigkeitsbeschwerde an das Kassationsgericht des Kantons Zürich erhoben werden. Nach Art. 405 Abs. 1 der seit dem 1. Januar 2011 geltenden Schweizerischen Zivilprozessordnung vom 19. Dezember 2008 (ZPO; SR 272) gilt für die Rechtsmittel das Recht, das bei der Eröffnung des Entscheides in Kraft ist. Das angefochtene Urteil des Handelsgerichts wurde nach Inkrafttreten der ZPO eröffnet, womit für das Rechtsmittelverfahren das neue Recht gilt (BGE 137 III 127 E. 2 S. 130). Dieses sieht gegen Entscheide von Handelsgerichten kein innerkantonales Rechtsmittel mehr vor (Art. 6 Abs. 1 ZPO e contrario ["einzige kantonale Instanz"]). Damit erweist sich der angefochtene Entscheid hinsichtlich sämtlicher mit Beschwerde in Zivilsachen vorbringbarer Rügen als letztinstanzlich.
1.3 Mit der Beschwerde in Zivilsachen kann die Verletzung von Bundesrecht einschliesslich Bundesverfassungsrecht gerügt werden (Art. 95 lit. a BGG; BGE 134 III 379 E. 1.2). Nicht zu den in Art. 95 BGG vorgesehenen Rügegründen gehört hingegen die Verletzung der kantonalen Zivilprozessordnung, deren Anwendung und Auslegung vom Bundesgericht einzig unter dem Blickwinkel eines Verstosses gegen Bundesrecht bzw. gegen Bundesverfassungsrecht beurteilt werden kann (BGE 136 I 241 E. 2.4; 135 III 513 E. 4.3 S. 521; 134 III 379 E. 1.2 S. 382 f.).
Auf das Verfahren vor der Vorinstanz fand gemäss Art. 404 Abs. 1 ZPO noch die nunmehr aufgehobene Zivilprozessordnung des Kantons Zürich Anwendung. Soweit die Beschwerdeführerin die Verletzung von Normen des kantonalen Zivilprozessrechts rügen will, hat sie mithin darzutun, dass dabei gleichzeitig ein Verstoss gegen Bundes- bzw. Bundesverfassungsrecht vorliegt. Die Beschwerdeführerin legt zwar zutreffend dar, dass ihr aufgrund des Wegfalls der kantonalen Nichtigkeitsbeschwerde die Möglichkeit fehlt, den angefochtenen Entscheid mit voller Kognition auf Verletzungen von "wesentlichen Verfahrensgrundsätzen" der Zürcher Zivilprozessordnung (§ 281 Ziff. 1 aZPO/ZH) hin überprüfen zu lassen. Entgegen ihrer Auffassung kann diese Situation jedoch keineswegs zu einer wie auch immer gearteten "übergangsrechtlich fallbezogenen" Erweiterung der Beschwerdegründe gemäss Art. 95 BGG führen, sondern ist als Konsequenz der insoweit klaren Übergangsbestimmung von Art. 405 ZPO hinzunehmen, welche - anders als noch der Vorentwurf der Expertenkommission vom Juni 2003 (Art. 391) - ausdrücklich vorsieht, dass für die Rechtsmittel das bei Eröffnung des Entscheids geltende Recht gilt.
1.4 Das Bundesgericht prüft unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind. Es ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen werden (BGE 133 II 249 E. 1.4.1 S. 254 mit Hinweisen). Eine qualifizierte Rügepflicht gilt hinsichtlich der Verletzung von Grundrechten und von kantonalem und interkantonalem Recht. Das Bundesgericht prüft eine solche Rüge nur insofern, als sie in der Beschwerde präzise vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG).
Unerlässlich ist im Hinblick auf Art. 42 Abs. 2 BGG, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Verletzung von Bundesrecht liegt. Der Beschwerdeführer soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die er im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit seiner Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (vgl. BGE 134 II 244 E. 2.1 S. 245 f.; 121 III 397 E. 2a S. 400; 116 II 745 E. 3 S. 749). Dabei hat die Begründung in der Beschwerdeschrift selbst zu erfolgen; Verweise auf andere Rechtsschriften, insbesondere im kantonalen Verfahren eingereichte, sind unbeachtlich (vgl. BGE 133 II 396 E. 3.1 S. 399 f.; 131 III 384 E. 2.3 S. 387 f., je mit Verweisen).
1.5 Diese Grundsätze verkennt die Beschwerdeführerin in mehrerer Hinsicht:
Unter dem Titel "Detailrüge A" macht sie geltend, die Beschwerdegegnerin habe bei der Neuformulierung ihres Rechtsbegehrens in der Replikschrift eine Klageänderung vorgenommen, die nach § 61 Abs. 1 ZPO/ZH unzulässig sei. Mit der Zulassung des neuen Rechtsbegehrens habe die Vorinstanz gegen "das Willkürverbot (Art. 9 BV), ... das an Gerichten zu beachtende Fairnessgebot (Art. 29 Abs. 1 BV), ... das Gebot der Verwirklichung der Grundrechte bei jedem staatlichem, also auch gerichtlichem, Handeln (Art. 35 BV)" sowie gegen "den kantonalzürcherischen Verfassungsanspruch auf Rechtsstaatlichkeit (Art. 2 ZH-KV), auf konsistente und nachvollziehbare Entscheidbegründung (Art. 18 ZH-KV), auf verlässliche Rechtsprechung (Art. 74 Abs. 1 ZH-KV) sowie auf umfassende Rechtskontrolle durch eine zweite Instanz (Art. 76 Abs. 2 ZH-KV)" verstossen. Indem die Beschwerdeführerin sich darauf beschränkt, diese angeblichen Verfassungsverletzungen lediglich in der Art eines Auswahlkatalogs plakativ aufzulisten, ohne in der eigentlichen Rügebegründung auch nur ansatzweise anhand der vorinstanzlichen Erwägungen aufzuzeigen, worin die angeblichen Normverstösse genau bestehen sollen, vermag sie den strengen Begründungsanforderungen gemäss Art. 106 Abs. 2 BGG in keiner Hinsicht zu genügen. Darauf ist nicht einzutreten.
Unbeachtlich ist die Beschwerde sodann, soweit die Beschwerdeführerin an diversen Stellen ihrer Eingabe auf eine Verletzung von Art. 29 Abs. 1 bzw. Abs. 2 BV anspielt (Verletzung "allgemeiner Verfahrensgarantien", des Verbots des "überspitzten Formalismus", der "richterlichen Fragepflicht" bzw. des "rechtlichen Gehörs" sowie der "Waffengleichheit" bzw. "verfahrensmässigen Gleichbehandlung"), ohne diese Vorwürfe auch nur ansatzweise anhand von konkreten Erwägungen im Einzelnen zu substanziieren und detailliert zu begründen. Darauf ist mangels hinreichender Begründung ebenfalls nicht einzutreten.
2. Unter dem Titel "Detailrüge B" wirft die Beschwerdeführerin der Vorinstanz eine Verletzung von Art. 8 ZGB und Art. 9 BV vor, indem diese "übertriebene Anforderungen" an das Beweismass hinsichtlich der Tatsachenbehauptung gestellt habe, wonach die Beschwerdeführerin die mit der Klage geforderten, zu Rückkaufswerten gewordenen nachträglichen Prämieneingänge bereits an die Beschwerdegegnerin bzw. an die Stiftung S._ oder allenfalls eine neue Vorsorgeeinrichtung zugunsten der Vorsorgewerke weitergeleitet habe.
2. Unter dem Titel "Detailrüge B" wirft die Beschwerdeführerin der Vorinstanz eine Verletzung von Art. 8 ZGB und Art. 9 BV vor, indem diese "übertriebene Anforderungen" an das Beweismass hinsichtlich der Tatsachenbehauptung gestellt habe, wonach die Beschwerdeführerin die mit der Klage geforderten, zu Rückkaufswerten gewordenen nachträglichen Prämieneingänge bereits an die Beschwerdegegnerin bzw. an die Stiftung S._ oder allenfalls eine neue Vorsorgeeinrichtung zugunsten der Vorsorgewerke weitergeleitet habe.
2.1 2.1.1 Die allgemeine bundesrechtliche Beweisvorschrift von Art. 8 ZGB regelt die Folgen der Beweislosigkeit. Ist eine rechtserhebliche Tatsache weder bewiesen noch widerlegt, so ist Art. 8 ZGB verletzt, wenn die Beweislast falsch verteilt wird (vgl. BGE 134 III 224 E. 7.2 S. 234; 133 III 507 E. 5.2 S. 510; 128 III 271 E. 2a/aa S. 273). Die Norm ist aber auch verletzt, wenn die Voraussetzung der Beweislosigkeit zu Unrecht bejaht oder verneint wird, weil der Beurteilung ein falsches Beweismass zugrunde gelegt (vgl. zum Beweismass BGE 132 III 715 E. 3.1 S. 719 f.; 130 III 321) oder weil Beweislosigkeit angenommen wird, obwohl die beweisbelastete Partei taugliche Beweismittel prozessual gehörig angeboten hatte, diese aber nicht abgenommen worden sind (BGE 122 III 219 E. 3c S. 223 f.; vgl. für den Gegenbeweis auch BGE 129 III 18 E. 2.6 S. 24 f.; 115 II 305). Wird dagegen in Beachtung des bundesrechtlich vorgegebenen Beweismasses in Würdigung der vorhandenen Beweise eine rechtserhebliche Tatsache als bewiesen oder als widerlegt erachtet, so ist die bundesrechtliche Beweisvorschrift von Art. 8 ZGB nicht verletzt, denn sie regelt die Beweiswürdigung nicht und schliesst auch die antizipierte Würdigung von Beweisen nicht aus (BGE 131 I 153 E. 3 S. 157; 122 III 219 E. 3 c S. 223 f.).
Nach dem bundesrechtlichen Regelbeweismass gilt ein Beweis als erbracht, wenn das Gericht nach objektiven Gesichtspunkten von der Richtigkeit einer Sachbehauptung überzeugt ist und ihm allfällige Zweifel als unerheblich erscheinen (BGE 132 III 715 E. 3.1 S. 719). Ausnahmen von diesem Regelbeweismass der vollen Überzeugung ergeben sich einerseits aus dem Gesetz und sind anderseits durch Rechtsprechung und Lehre herausgearbeitet worden. Den Ausnahmen liegt die Überlegung zu Grunde, dass die Rechtsdurchsetzung nicht an Beweisschwierigkeiten scheitern darf, die typischerweise bei bestimmten Sachverhalten auftreten (vgl. BGE 130 III 321 E. 3.2 S. 324; 128 III 271 E. 2b/aa S. 275). Die Beweiserleichterung setzt demnach eine Beweisnot voraus. Diese Voraussetzung ist erfüllt, wenn ein strikter Beweis nach der Natur der Sache nicht möglich oder nicht zumutbar ist, insbesondere wenn die von der beweisbelasteten Partei behaupteten Tatsachen nur mittelbar durch Indizien bewiesen werden können. Eine Beweisnot liegt aber nicht schon darin begründet, dass eine Tatsache, die ihrer Natur nach ohne weiteres dem unmittelbaren Beweis zugänglich wäre, nicht bewiesen werden kann, weil der beweisbelasteten Partei die Beweismittel fehlen. Blosse Beweisschwierigkeiten im konkreten Einzelfall können nicht zu einer Beweiserleichterung führen (BGE 130 III 321 E. 3.2 S. 324 mit Hinweisen).
2.1.2 Die Vorinstanz hat in Berücksichtigung dieser Grundsätze zutreffend erwogen, dass für den Beweis der von der Beschwerdeführerin behaupteten Überweisungen der zu Rückkaufswerten gewordenen nachträglichen Prämieneingänge das Regelbeweismass gelte, da ein strikter Beweis nach der Natur der Sache möglich sei, z.B. durch Belastungsanzeigen desjenigen Geldinstituts, das die Zahlung im Auftrag der Schuldnerin ausgeführt hat, oder aber durch eine Bestätigung der Zahlungsempfänger. Eine Beweisnot liege nicht vor. Daran ändere auch der Umstand nichts, dass bei einzelnen Vorsorgewerken sehr komplizierte und schwierig rekonstruierbare Verhältnisse entstehen konnten und sich die Zahlungsströme zum Teil ausserhalb der buchführungsrechtlich verlangten Aufbewahrungsdauer von 10 Jahren befinden.
Diese bundesrechtlich nicht zu beanstandenden Erwägungen vermag die Beschwerdeführerin mit ihren Hinweisen zu "branchennotorischen Vorgängen" im Versicherungswesen nicht in Frage zu stellen. Dass ein strikter Nachweis der behaupteten Zahlungsvorgänge der Natur der Sache nach generell unmöglich oder unzumutbar wäre, lässt sich nicht sagen. Dies gilt auch dann nicht, wenn die entsprechenden Zahlungen mehr als 10 Jahre zurückliegen. Blosse Beweisschwierigkeiten im konkreten Fall vermögen noch keine Beweisnot begründen, welche die Herabsetzung des Beweismasses rechtfertigen würde. Soweit die Beschwerdeführerin der Auffassung ist, auf die behaupteten Zahlungsvorgänge hätte nicht das Regelbeweismass Anwendung finden sollen, ist ihre Rüge unbegründet.
2.2 Mit ihrer weiteren Kritik, wonach die Vorinstanz angeblich "gewissen Kategorien von Beweisdokumenten ... zum vornherein den Beweischarakter" abgesprochen bzw. das beschwerdegegnerische Bestreiten mit Nichtwissen nicht zu ihren Gunsten berücksichtigt habe, richtet sich die Beschwerdeführerin gegen die vorinstanzliche Beweiswürdigung. Dies gilt auch für die Rüge, wonach unerklärlich sei, weshalb das "am besten und vollständigsten erhaltene" Vorsorge-Dossier der T._ AG und die bezüglich der Beweislage vergleichbaren Dossiers nicht hätten Beweis bilden können.
2.2.1 Dem Sachgericht steht im Bereich der Beweiswürdigung ein erheblicher Ermessensspielraum zu (BGE 120 Ia 31 E. 4b S. 40). Das Bundesgericht greift auf Beschwerde hin nur ein, wenn das Sachgericht sein Ermessen missbraucht, insbesondere offensichtlich unhaltbare Schlüsse zieht, erhebliche Beweise übersieht oder solche willkürlich ausser Acht lässt (vgl. BGE 132 III 209 E. 2.1; 129 I 8 E. 2.1; 120 Ia 31 E. 4b S. 40 mit Hinweisen). Inwiefern das kantonale Gericht sein Ermessen im dargelegten Sinn missbraucht haben soll, ist in der Beschwerde klar und detailliert aufzuzeigen (BGE 134 II 244 E. 2.2; 130 I 258 E. 1.3). Namentlich genügt es nicht, einzelne Beweise anzuführen, die anders als im angefochtenen Entscheid gewichtet werden sollen, und dem Bundesgericht in appellatorischer Kritik die eigene Auffassung zu unterbreiten, als ob diesem die freie Prüfung aller Tat- und Rechtsfragen zukäme (vgl. BGE 116 Ia 85 E. 2b).
2.2.2 Diese Begründungsanforderungen missachtet die Beschwerdeführerin grösstenteils. Sie unterbreitet dem Bundesgericht weitgehend blosse appellatorische Kritik und legt dar, wie die vorhandenen Beweismittel aus ihrer Sicht zu würdigen gewesen wären, ohne aufzuzeigen, inwiefern die vorinstanzlichen Schlüsse nicht nur unrichtig, sondern geradezu unhaltbar sein sollen. Auf die weitgehend appellatorischen Vorbringen der Beschwerdeführerin im Zusammenhang mit der vorinstanzlichen Beweiswürdigung kann nicht eingegangen werden.
Nicht zu folgen ist der Beschwerdeführerin sodann namentlich, soweit sie der Vorinstanz Willkür vorwirft, indem diese auch das angeblich "beste und am vollständigsten erhaltene" Vorsorge-Dossier der T._ AG sowie weitere, vergleichbare Dossiers nicht für geeignet hielt, den Beweis für eine erfolgte Zahlung zu erbringen. Entgegen der Auffassung der Beschwerdeführerin ist die Vorinstanz nie zum Schluss gekommen, dass das "Dossier T._ überzeugt" und die Beschwerdeführerin vermag dies auch mit pauschalen Hinweisen auf die vorinstanzlichen Eingaben und den unbelegten Beteuerungen, die in diesem Dossier enthaltenen "Buchungsvermerke" seien "echt und wahr", nicht darzutun. Entsprechendes gilt für die Dossiers der weiteren Vorsorgewerke, für welche die Beweislage angeblich "dieselbe ist wie für die T._ AG". Es ist weder dargetan noch ersichtlich, dass es geradezu willkürlich wäre, aufgrund der entsprechenden Dossiers angeblich erfolgte Zahlungen nicht als bewiesen zu erachten.
3. Die Beschwerdeführerin wirft der Vorinstanz sodann unter dem Titel "Detailrüge C" eine Verletzung von Art. 470 Abs. 1 bzw. Abs. 2 OR vor, indem diese den Widerruf einer Zahlungsanweisung durch die Beschwerdegegnerin als wirksam erachtet habe, obwohl die Beschwerdeführerin gegenüber der Stiftung S._ als Anweisungsempfängerin die Annahme der Anweisung erklärt bzw. die Beschwerdegegnerin mit ihrer Anweisung eine Schuld gegenüber der Stiftung S._ getilgt habe.
3.1 Gemäss der Vorinstanz hat die Beschwerdegegnerin die Beschwerdeführerin mit Schreiben vom 29. August 1997 angewiesen, die bei der Beschwerdeführerin eingegangenen Prämienzahlungen seitens jener Vorsorgestiftungen, die sich übergangsweise oder definitiv der Stiftung S._ anschlossen, an die Stiftung S._ bzw. die nachfolgenden Vorsorgeträger weiterzuleiten. Dass die Beschwerdeführerin gegenüber der Stiftung S._ die Annahme der Anweisung i.S. von Art. 470 Abs. 2 OR erklärt hätte, hat gemäss dem festgestellten Prozesssachverhalt im vorinstanzlichen Verfahren indessen keine der Parteien behauptet. Gemäss der Vorinstanz habe die Beschwerdegegnerin daher die Anweisung nach Art. 470 Abs. 2 OR widerrufen können, was sie mit ihrer Klageerhebung und der darin erhobenen Forderung auf Zahlung der Rückkaufswerte denn auch in konkludenter Weise getan habe. Daraus ergebe sich, dass die Beschwerdegegnerin die Zahlung der Rückkaufswerte im Umfang der nachträglichen Prämieneingänge an sich selbst verlangen könne.
3.1 Gemäss der Vorinstanz hat die Beschwerdegegnerin die Beschwerdeführerin mit Schreiben vom 29. August 1997 angewiesen, die bei der Beschwerdeführerin eingegangenen Prämienzahlungen seitens jener Vorsorgestiftungen, die sich übergangsweise oder definitiv der Stiftung S._ anschlossen, an die Stiftung S._ bzw. die nachfolgenden Vorsorgeträger weiterzuleiten. Dass die Beschwerdeführerin gegenüber der Stiftung S._ die Annahme der Anweisung i.S. von Art. 470 Abs. 2 OR erklärt hätte, hat gemäss dem festgestellten Prozesssachverhalt im vorinstanzlichen Verfahren indessen keine der Parteien behauptet. Gemäss der Vorinstanz habe die Beschwerdegegnerin daher die Anweisung nach Art. 470 Abs. 2 OR widerrufen können, was sie mit ihrer Klageerhebung und der darin erhobenen Forderung auf Zahlung der Rückkaufswerte denn auch in konkludenter Weise getan habe. Daraus ergebe sich, dass die Beschwerdegegnerin die Zahlung der Rückkaufswerte im Umfang der nachträglichen Prämieneingänge an sich selbst verlangen könne.
3.2 3.2.1 Nach Art. 470 Abs. 2 OR kann der Anweisende die Anweisung gegenüber dem Angewiesenen widerrufen, solange er dem Empfänger seine Annahme nicht erklärt hat (vgl. BGE 127 III 553 E. 2e S. 556 ff. mit weiteren Hinweisen).
3.2.2 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Zu dem von der Vorinstanz grundsätzlich verbindlich festgestellten Sachverhalt gehören nicht nur die Feststellungen über den Lebenssachverhalt, der dem Streitgegenstand zugrunde liegt, sondern auch jene über den Ablauf des vorinstanzlichen Verfahrens und von diesem vorangegangenen Verfahren, wie namentlich die Parteivorbringen in denselben, also die Feststellungen über den Prozesssachverhalt (Urteil 4A_210/2009 vom 7. April 2010 E. 2). Das Bundesgericht kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (BGE 133 II 249 E. 1.2.2). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein (Art. 97 Abs. 1 BGG). Die beschwerdeführende Partei, welche die Sachverhaltsfeststellungen der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern die gerügten Feststellungen bzw. die Unterlassung von Feststellungen offensichtlich unrichtig sind oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruhen (vgl. BGE 133 II 249 E. 1.4.3; 133 III 350 E. 1.3, 393 E. 7.1, 462 E. 2.4). Soweit die beschwerdeführende Partei den Sachverhalt ergänzen will, hat sie zudem mit Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (Urteile 4A_214/2008 vom 9. Juli 2008 E. 1.2, nicht publ. in: BGE 134 III 570; 4A_526/2008 vom 21. Januar 2009 E. 3.2).
Auf eine Kritik an den tatsächlichen Feststellungen der Vorinstanz, die diesen Anforderungen nicht genügt, ist nicht einzutreten (BGE 133 II 249 E. 1.4.3), ebenso wenig auf Vorbringen, die in den tatsächlichen Feststellungen der Vorinstanz keine Stütze finden, ohne dass dazu eine taugliche Sachverhaltsrüge im vorstehenden Sinne substanziiert wird, oder auf Rügen, die auf solchen Vorbringen aufbauen.
3.2.3 Die Beschwerdeführerin verkennt diese Grundsätze vollumfänglich. Der vorinstanzlichen Feststellung, wonach keine Partei behauptet habe, die Beschwerdeführerin habe gegenüber der Stiftung S._ resp. den nachfolgenden Vorsorgeträgern die Annahme der Anweisung erklärt, begegnet die Beschwerdeführerin lediglich mit dem nicht weiter begründeten Vorwurf, dies laufe auf "überspitzten Formalismus" hinaus, und zitiert im Übrigen aus Akten, ohne im Einzelnen darzutun, dass sie diese bereits bei der Vorinstanz prozesskonform als Beweismittel eingebracht hätte. Die weiteren Vorbringen der Beschwerdeführerin im Zusammenhang mit der angeblichen Verletzung von Art. 470 Abs. 1 OR stützen sich sodann allesamt auf Sachverhaltselemente, welche im angefochtenen Entscheid keine Stütze finden. Darauf ist nicht einzutreten.
4. Unter dem Titel "Detailrüge D" moniert die Beschwerdeführerin schliesslich eine "verweigerte Beweisabnahme und damit fehlende Spruchreife" hinsichtlich des von der Vorinstanz verneinten Bestandes einer Verrechnungsforderung.
4.1 Die Beschwerdeführerin hat im vorinstanzlichen Verfahren geltend gemacht, ihr stehe gegenüber der Beschwerdegegnerin eine Forderung im Betrag von Fr. 727'745.15 zu, welche sie gegen die von der Beschwerdegegnerin eingeklagte Forderung zur Verrechnung stelle. Die Vorinstanz hat diesbezüglich ausgeführt, dass die Beschwerdegegnerin ihre Verrechnungsforderung nicht rechtsgenügend in ihren Rechtsschriften substanziiert habe. Eine bloss allgemeine Bezugnahme auf eingereichte Aktenstücke und die allgemeine Erklärung eingereichter Akten zum integrierenden Bestandteil der Rechtsschrift genügen gemäss der Vorinstanz nicht. Abgesehen von der Frage der genügenden Substanziierung bestehe aber ohnehin keine Forderung der Beschwerdeführerin gegenüber der Beschwerdegegnerin aus eigenem Recht, da nicht nachvollziehbar sei, inwiefern die Beschwerdeführerin geschädigt sein solle, weil die Beschwerdegegnerin der Stiftung S._ angeblich Geld vorenthalten hat.
Soweit die Beschwerdeführerin geltend mache, ihr sei seitens der Stiftung S._ eine Forderung gegenüber der Beschwerdegegnerin abgetreten worden, fehle es wiederum an rechtsgenügend substanziierten Behauptungen, welchen Anspruch die Stiftung S._ der Beschwerdeführerin wann und in welchem Betrag abgetreten habe. Der blosse Hinweis in der Klageantwort auf eine erfolgte Zession im nun als Verrechnungsforderung geltend gemachten Betrag genüge nicht für eine Behauptung, die zum Beweis verstellt werden könnte.
4.2 Die Pflicht einer Prozesspartei, ihre Sachdarstellungen zu substanziieren, bedeutet, dass die Partei die Tatsachen nicht nur in den Grundzügen, sondern so umfassend und klar dazulegen hat, dass darüber Beweis abgenommen werden kann. Dabei bestimmt das materielle Bundesrecht, wie weit ein Sachverhalt zu substanziieren ist, damit er unter die Bestimmungen des materiellen Rechts subsumiert werden kann. Wie weit die anspruchsbegründenden Tatsachen im Hinblick darauf inhaltlich zu substanziieren sind, ergibt sich einerseits aus den Tatbestandsmerkmalen der angerufenen Norm und anderseits aus dem prozessualen Verhalten der Gegenpartei. Tatsachenbehauptungen müssen dabei so konkret formuliert sein, dass ein substanziiertes Bestreiten möglich ist oder der Gegenbeweis angetreten werden kann (BGE 108 II 337 E. 2b S. 339; seither BGE 133 III 153 E. 3.3 S. 162; 127 III 365 E. 2b S. 368; 123 III 183 E. 3e S. 187 f.). Stellt der kantonale Richter überhöhte Anforderungen an die Substanziierungslast, indem er detailliertere Tatsachenbehauptungen verlangt als für die rechtliche Beurteilung des anspruchsbegründenden Sachverhalts nötig, verletzt er Bundesrecht und namentlich Art. 8 ZGB (BGE 114 II 289 E. 2a; 112 II 180 E. 2c).
4.3 Gegen die vorinstanzliche Erwägung, wonach der Beschwerdeführerin unabhängig von der Frage der Substanziierung ohnehin keine Forderung aus eigenem Recht zustehe, bringt die Beschwerdeführerin in ihrer Eingabe an das Bundesgericht lediglich die Behauptung vor, dass sie "sehr wohl über Rechtstitel gegenüber der Beschwerdegegnerin" verfüge, was sich "ohne weiteres aus dem in der Klageantwort wie in der Duplik Vorgetragenen" ergebe: Es handle sich um einen "Schadenanspruch aus vollzogener Anweisung oder allenfalls aus uneigennütziger Geschäftsführung zugunsten eines Dritten". Diese Behauptungen versucht die Beschwerdeführerin mit weitschweifigen Ausführungen zu begründen, welche in den tatsächlichen Feststellungen der Vorinstanz indessen durchwegs keine Stütze finden. Eine taugliche Sachverhaltsrüge im Sinne des in vorstehender Erwägung 3.2.2 Ausgeführten lässt sich den Vorbringen der Beschwerdeführerin nicht ansatzweise entnehmen. Darauf ist nicht einzutreten.
Nicht zu folgen ist der Beschwerdeführerin sodann, soweit sie sich gegen die vorinstanzliche Erwägung richtet, wonach die angebliche Zession ungenügend substanziiert worden sei. In der von der Beschwerdeführerin zitierten Stelle in der Klageantwort steht wörtlich:
"Falls der Klägerin (bestrittenerweise) noch Ansprüche gegen die Beklagten aus (angeblichen) Prämienrückständen und/oder Auflösungswert-Rückzahlung zustehen sollten, dann werden diese Differenzen im Gesamtbetrage von CHF 727'745.15 hiermit zur Verrechnung gestellt. Diese Verrechnung stützt sich auf eine Zession welche die Stiftung S._ gegenüber der Beklagten vorgenommen hat" [Hervorhebung hinzugefügt].
Die Vorinstanz verstösst nicht gegen die bundesrechtlichen Grundsätze zur Behauptungs- und Substanziierungslast, wenn sie in diesem mehr als vagen Vorbringen keine hinreichend substanziierte Tatsachenbehauptung sieht, die zum Beweisthema gemacht werden könnte. Die Vorinstanz hat damit entgegen der Auffassung der Beschwerdeführerin bundesrechtskonform gehandelt, indem sie zu einer angeblichen Zession keine Beweise abgenommen hat.
5. Die Beschwerde erweist sich als unbegründet und ist abzuweisen, soweit überhaupt darauf eingetreten werden kann.
Bei diesem Verfahrensausgang wird die Beschwerdeführerin kosten- und entschädigungspflichtig (Art. 66 Abs. 1 sowie Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 10'000.-- werden der Beschwerdeführerin auferlegt.
3. Die Beschwerdeführerin hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 12'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Handelsgericht des Kantons Zürich schriftlich mitgeteilt.
Lausanne, 23. August 2011
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Der Gerichtsschreiber: Hurni