Sachverhalt:
A. A.a Die Y._ AG mit Sitz in Z._ (Beschwerdegegnerin) ist eine Vermögensverwaltungsgesellschaft.
In der Zeit vom 2. Mai 1996 bis zum 12. Oktober 2006 war die Beschwerdegegnerin für die Pensionskasse X._ mit Sitz in Q._ (Beschwerdeführerin) als externe Vermögensverwalterin tätig.
A.b Die Vermögensverwaltung basierte auf einer als "Asset-Management-Vereinbarung" bezeichneten Vereinbarung vom 2. Mai 1996. Ziffern 7 und 8 des Vermögensverwaltungsvertrags sehen Folgendes vor:
"7. Der Auftraggeber ersetzt der [Beschwerdegegnerin] sämtliche Courtagen, Abgaben und übrigen Auslagen, die bei der Erfüllung dieses Vertrages anfallen. Allfällige Retrozessionen stehen vollumfänglich der [Beschwerdegegnerin] zu.
8. Der Auftraggeber zahlt der [Beschwerdegegnerin] eine allgemeine Administrativkommission von 0.5 % p.a. des Depotwertes. Die Administrativkommission wird vierteljährlich erhoben. Als Berechnungsgrundlage dient jeweils der Depotwert per Ende des Vorquartals. Die Berechnung der Administrativkommission erfolgt pro rata temporis."
In Ziffer 17 wird ein als "Vereinbarung betreffend der Transaktionskosten sowie der zugelassenen Portfoliomanagement Aktivitäten" bezeichnetes Schreiben vom 2. Mai 1996 als integrierender Vertragsbestandteil erklärt. Nach diesem "betragen die Transaktionskosten (Courtage) jeweils 0.5 % pro Abrechnung".
A.c Der Beschwerdegegnerin wurden von der Depotbank M._ keine Courtagen belastet, die ihr von der Auftraggeberin nach Ziffer 7 Satz 1 zurückzuerstatten gewesen wären. Die Bank M._ rechnete als Depotbank die Börsenaufträge jeweils netto ab, d.h. die Courtage von 0.5 % wurde in den Aktienkurs integriert. Sie vergütete der Beschwerdegegnerin aus vereinnahmten Transaktionsgebühren insgesamt Fr. 3'513'932.65 sowie Fr. 118'673.66 aus vereinnahmten Depotgebühren.
B. B.a Mit Eingabe vom 13. April 2007 klagte die Beschwerdeführerin beim Kantonsgericht Zug gegen die Beschwerdegegnerin auf Rechnungslegung sowie Bezahlung von Fr. 118'673.66 zuzüglich Zins. Mit Replik vom 4. Oktober 2007 ergänzte die Beschwerdeführerin ihr Rechtsbegehren mit einer zusätzlichen Forderung über Fr. 3'513'932.65 zuzüglich Zins. Sie stellte sich auf den Standpunkt, die Beschwerdegegnerin habe ihr die Retrozessionen zu vergüten, die dieser von der Depotbank zugeflossen seien.
Mit Urteil vom 19. Februar 2009 hiess das Kantonsgericht Zug die Klage im Umfang von Fr. 118'673.66 sowie Fr. 3'513'932.65, jeweils zuzüglich Zins, gut. Die Rechtsbegehren der Beschwerdeführerin betreffend Rechenschaftsablegung und Befreiung vom Bankgeheimnis wies es ab, soweit diese nicht gegenstandslos geworden seien.
B.b Mit Urteil vom 23. März 2010 hiess das Obergericht des Kantons Zug eine von der Beschwerdegegnerin gegen das kantonsgerichtliche Urteil erhobene Berufung gut, es hob das angefochtene Urteil vom 19. Februar 2009 auf und wies die Klage ab.
Das Obergericht erwog, die in der Zusatzvereinbarung erwähnten Transaktionskosten (Courtagen) von jeweils 0.5 % pro Abrechnung stellten keinen Honorarbestandteil dar, sondern seien als Entgelt der Depotbank für deren Transaktionsaufwand zu verstehen. Daraus sei zu schliessen, dass es sich bei den Vergütungen aus vereinnahmten Transaktionsgebühren in der Höhe von Fr. 3'513'932.65 um indirekte Vorteile der Beschwerdegegnerin gehandelt habe, die dieser im Rahmen ihrer Vermögensverwaltungstätigkeit von der Depotbank zugekommen seien. Dieser Betrag sei demzufolge wie auch die von der Bank M._ aus vereinnahmten Depotgebühren vergüteten Fr. 118'673.66 als Retrozession zu qualifizieren.
Das Obergericht hielt zudem fest, aus Ziffer 7 des Vermögensverwaltungsvertrags vom 2. Mai 1996 gehe der Wille der Beschwerdeführerin, auf die Ablieferung von Retrozessionen zu verzichten, unmissverständlich hervor. Ein Verzicht auf den auftragsrechtlichen Herausgabeanspruch setze allerdings nicht nur einen klar geäusserten Willen zum Verzicht voraus, sondern auch eine vollständige vorgängige Information des Verzichtenden. Bei branchenkundigen Parteien könnten geringere Anforderungen an die Information gestellt werden. Ein bloss allgemeiner Hinweis, wonach der Vermögensverwalter möglicherweise Rückvergütungen erhalte, reiche jedoch nicht aus.
Bei den Parteien handle es sich um Branchenkenner, deren involvierte Parteien als erfahrene und professionelle Vermögensverwalter zu bezeichnen seien. Die Beschwerdeführerin, so die Vorinstanz weiter, sei eine Pensionskasse und institutionelle Anlegerin mit entsprechend hohem Fachwissen. Aufgrund dieses Fachwissens sei davon auszugehen, dass die Beschwerdeführerin grundsätzlich gewusst habe, worauf sie verzichtete, wenn sie "allfällige Retrozessionen" der Beschwerdegegnerin "vollumfänglich" zugestand. Sie habe aufgrund von Ziffer 7 der Vermögensverwaltungsvereinbarung vom 2. Mai 1996 gewusst, dass die von der Depotbank in Rechnung gestellten Transaktionskosten pro Transaktion 0.5 % betrugen. Aufgrund dieser Vertragsklausel, aber auch dank ihrer Kenntnisse über das Pricing der Transaktionsausübung im institutionellen Anlagegeschäft habe die Beschwerdeführerin wissen müssen, dass Retrozessionen aus den Transaktionskosten fliessen würden und diese in ihrer Höhe rein mathematisch begrenzt gewesen seien durch die maximale Höhe der vereinbarten Transaktionskosten von 0.5 % des Gesamtvolumens aller Transaktionen. Im Wissen um die Bandbreite der möglichen Retrozessionen habe die Beschwerdeführerin als geschäftserfahrene Anlegerin über genügend Informationen für einen rechtsgültigen Verzicht verfügt. Zu beachten sei zudem, dass der Verband Schweizerischer Vermögensverwalter (VSV) von einer durchschnittlichen Bruttomarge von 0.8 % ausgehe. Daher könne nicht behauptet werden, die von der Depotbank M._ ausbezahlten Retrozessionen im Umfang von rund 80 % der gesamten Transaktionsgebühren von Fr. 4'433'875.57, was 0.4 % des Gesamtvolumens aller Transaktionen entspreche, seien "völlig jenseits des Erwartbaren".
C. Mit Beschwerde in Zivilsachen beantragt die Beschwerdeführerin dem Bundesgericht im Wesentlichen, es sei das Urteil des Obergerichts des Kantons Zug vom 23. März 2010 aufzuheben und die Beschwerdegegnerin zur Zahlung von Fr. 118'673.66 sowie Fr. 3'513'932.65, jeweils zuzüglich Zins, zu verurteilen. Eventualiter sei das angefochtene Urteil aufzuheben und zur Neubeurteilung an die Vorinstanz zurückzuweisen. Im Weiteren seien die Kosten und Entschädigungen des kantonalen Verfahrens neu festzusetzen.
Die Beschwerdegegnerin beantragt die Abweisung der Beschwerde, soweit darauf einzutreten sei. Die Vorinstanz schliesst auf Abweisung der Beschwerde.
Die Beschwerdeführerin reichte dem Bundesgericht eine Replik, die Beschwerdegegnerin eine Duplik ein.
D. Mit Verfügung vom 24. August 2010 wies das Bundesgericht das Gesuch der Beschwerdeführerin um Erteilung der aufschiebenden Wirkung ab.
Erwägungen:
1. 1.1 Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist somit weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (vgl. BGE 133 II 249 E. 1.4.1 S. 254; 132 II 257 E. 2.5 S. 262; 130 III 136 E. 1.4 S. 140). Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind. Es ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen werden (BGE 135 II 384 E. 2.2.1 S. 389; 133 II 249 E. 1.4.1 S. 254 mit Hinweisen). Eine qualifizierte Rügepflicht gilt hinsichtlich der Verletzung von Grundrechten und von kantonalem und interkantonalem Recht. Das Bundesgericht prüft eine solche Rüge nur insofern, als sie in der Beschwerde präzise vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG). Macht der Beschwerdeführer beispielsweise eine Verletzung des Willkürverbots (Art. 9 BV) geltend, genügt es nicht, wenn er einfach behauptet, der angefochtene Entscheid sei willkürlich; er hat vielmehr im Einzelnen zu zeigen, inwiefern der angefochtene Entscheid offensichtlich unhaltbar ist (BGE 134 II 349 E. 3 S. 352; 133 I 1 E. 5.5 S. 5; 133 III 439 E. 3.2 S. 444).
Unerlässlich ist im Hinblick auf Art. 42 Abs. 2 sowie Art. 106 Abs. 2 BGG, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Rechtsverletzung liegt. Der Beschwerdeführer soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die er im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit seiner Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (vgl. BGE 134 II 244 E. 2.1 S. 245 f.; 121 III 397 E. 2a S. 400; 116 II 745 E. 3 S. 749). Die Begründung hat ferner in der Beschwerdeschrift selbst zu erfolgen und der blosse Verweis auf Ausführungen in anderen Rechtsschriften oder auf die Akten reicht nicht aus (BGE 133 II 396 E. 3.1 S. 399 f.; 131 III 384 E. 2.3 S. 387 f.; je mit Hinweisen).
1.2 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein (Art. 97 Abs. 1 BGG). Neue Tatsachen und Beweismittel dürfen nur soweit vorgebracht werden, als der Entscheid der Vorinstanz dazu Anlass gibt (Art. 99 Abs. 1 BGG).
Der Beschwerdeführer, der die Sachverhaltsfeststellungen der Vorinstanz anfechten will, muss substantiiert darlegen, inwiefern die Voraussetzungen einer Ausnahme gemäss Art. 105 Abs. 2 BGG gegeben sind und das Verfahren bei rechtskonformer Ermittlung des Sachverhalts anders ausgegangen wäre; andernfalls kann ein Sachverhalt, der vom im angefochtenen Entscheid festgestellten abweicht, nicht berücksichtigt werden. Auf eine Kritik an den tatsächlichen Feststellungen der Vorinstanz, die diesen Anforderungen nicht genügt, ist nicht einzutreten (vgl. BGE 133 III 350 E. 1.3 S. 351 f., 393 E. 7.1 S. 398, 462 E. 2.4 S. 466 f.).
1.3 Diese Grundsätze verkennt die Beschwerdeführerin über weite Strecken.
1.3.1 Sie stellt ihrer Beschwerdebegründung eine mehrseitige Sachverhaltsdarstellung voran, in der sie die Hintergründe des Rechtsstreits sowie des Verfahrens unter Verweis auf verschiedenste Akten des kantonalen Verfahrens aus eigener Sicht schildert. Sie kritisiert verschiedentlich in appellatorischer Weise die vorinstanzlichen Sachverhaltsfeststellungen und wirft der Vorinstanz vor, angeblich bewiesene Sachverhaltselemente nicht berücksichtigt zu haben; ihren Ausführungen lässt sich jedoch keine rechtsgenügend begründete Sachverhaltsrüge entnehmen. Die entsprechenden Ausführungen der Beschwerdeführerin haben unbeachtet zu bleiben.
1.3.2 Auch in ihrer weiteren Beschwerdebegründung weicht die Beschwerdeführerin wiederholt von den vorinstanzlichen Sachverhaltsfeststellungen ab oder erweitert diese, als ob dem Bundesgericht eine freie Prüfung sämtlicher Tatfragen zukäme.
So zitiert sie ausführlich verschiedene Stellen der Berufungsschrift der Beschwerdegegnerin und behauptet, daraus lasse sich auf deren tatsächlichen Willen hinsichtlich der Transaktionskosten bzw. deren Rückvergütung schliessen. Auf diese appellatorischen Vorbringen ist nicht einzutreten.
1.3.3 Rein appellatorisch sind auch die Ausführungen der Beschwerdeführerin hinsichtlich des Verhältnisses zwischen Vermögensverwaltungsgebühr und Retrozessionen, mit denen sie aus der Duplik der Beschwerdegegnerin vor der Erstinstanz zitiert.
1.3.4 Die Beschwerdeführerin wirft der Vorinstanz zudem verschiedentlich in pauschaler Weise eine Verletzung des Willkürverbots (Art. 9 BV) oder des rechtlichen Gehörs (Art. 29 Abs. 2 BV) vor, verfehlt damit jedoch die gesetzlichen Begründungsanforderungen an entsprechende Verfassungsrügen (Art. 106 Abs. 2 BGG).
1.4 Auch die Beschwerdegegnerin weicht verschiedentlich von den vorinstanzlichen Sachverhaltsfeststellungen ab oder erweitert diese, als ob das Bundesgericht sämtliche Tatfragen frei überprüfen könnte.
1.4.1 So behauptet sie etwa, die Depotbanken hätten mit Bezug auf die Transaktionsgebühren lediglich als Erfüllungsgehilfen bzw. Inkassostelle der Beschwerdegegnerin gehandelt. Die Beschwerdegegnerin zitiert ausführlich aus verschiedenen kantonalen Akten, kritisiert ohne hinreichende Sachverhaltsrüge die tatsächlichen Feststellungen der Vorinstanz und unterbreitet dem Bundesgericht einen Sachverhalt, der sich dem angefochtenen Entscheid nicht entnehmen lässt. Sie behauptet unter Verweis auf Einvernahmeprotokolle, Rechtsschriften des kantonalen Verfahrens sowie weitere kantonale Aktenstücke, die Beschwerdeführerin habe mit den Depotbanken keine Abreden betreffend Transaktionskosten getroffen, sondern es seien lediglich Depotgebühren vereinbart gewesen.
Die Ausführungen in der Beschwerdeantwort, mit denen die Beschwerdeführerin vorbringt, bei den von der Depotbank vereinnahmten Transaktionsgebühren handle es sich in Tat und Wahrheit um einen Bestandteil ihres Honorars und nicht um ein Entgelt zugunsten der Depotbank für deren Transaktionsaufwand, sind rein appellatorisch. Eine rechtsgenügend begründete Rüge lässt sich ihren Darlegungen nicht entnehmen, wenn auf den für das Bundesgericht verbindlich festgestellten Sachverhalt abgestellt wird.
1.4.2 Auch in ihren Ausführungen zur Gültigkeit der Verzichtserklärung beruft sich die Beschwerdegegnerin auf verschiedene Zeugenaussagen sowie weitere kantonale Aktenstücke, als ob das Bundesgericht die Streitsache auch in tatsächlicher Hinsicht von Grund auf neu beurteilen könnte.
1.4.3 Neu und damit unbeachtlich (Art. 99 Abs. 1 BGG) ist die Behauptung der Beschwerdegegnerin, eine blosse "Ticket Fee" bewege sich im institutionellen Brokerage der Schweizer Banken lediglich im Bereich von 0.05 % bis 0.08 %. Ihre Ausführungen unter Hinweis auf einen von der Beschwerdeführerin im kantonalen Verfahren als Beilage 4 zum Plädoyer vom 3. Dezember 2008 eingereichten Auszug aus Wikipedia zu den Ansätzen für Courtagen sind im Übrigen rein appellatorisch und lassen keine hinreichend begründete Sachverhaltsrüge erkennen.
Entsprechendes gilt für die Vorbringen der Beschwerdegegnerin unter dem Titel "Höhe der Transaktionsgebühren bekannt" sowie die mit "Unterlassene Erkundigung nach Retrozessionen" überschriebenen Ausführungen in der Beschwerdeantwort.
1.4.4 Soweit die Parteien ihre Rügen auf einen Sachverhalt stützen, der von den für das Bundesgericht verbindlichen Feststellungen abweicht, sind sie nicht zu hören. Da sowohl die Beschwerdeführerin als auch die Beschwerdegegnerin in unzulässiger Weise tatsächliche und rechtliche Vorbringen vermengen, ist auf ihre Vorbringen nur insoweit einzugehen, als daraus wenigstens sinngemäss erkennbar ist, welche Bundesrechtssätze und inwiefern sie durch den angefochtenen Entscheid der Vorinstanz verletzt sein sollen, wenn die verbindlichen Feststellungen im angefochtenen Entscheid zugrunde gelegt werden (Art. 105 Abs. 1 BGG).
2. Die Beschwerdeführerin rügt, die Vorinstanz habe ihr in Verletzung von Bundesrecht den Anspruch auf Herausgabe der von der Beschwerdegegnerin eingenommenen Retrozessionen abgesprochen.
2.1 Auf den zwischen den Parteien abgeschlossenen Vermögensverwaltungsvertrag sind die auftragsrechtlichen Regeln anzuwenden (vgl. BGE 132 III 460 E. 4 S. 463 mit Hinweisen). Nach Art. 400 Abs. 1 OR ist der Beauftragte verpflichtet, auf Verlangen jederzeit über seine Geschäftsführung Rechenschaft abzulegen und alles, was ihm infolge derselben aus irgendeinem Grund zugekommen ist zu erstatten. Die Ablieferungspflicht betrifft neben denjenigen Vermögenswerten, die der Beauftragte direkt vom Auftraggeber zur Erfüllung des Auftrags erhält auch indirekte Vorteile, die dem Beauftragten infolge der Auftragsausführung von Dritten zukommen. Behalten darf der Beauftragte nur, was er lediglich bei Gelegenheit der Auftragsausführung, ohne inneren Zusammenhang mit dem ihm erteilten Auftrag, von Dritten erhält (BGE 132 III 460 E. 4.1 S. 464 mit Hinweisen).
Zu den indirekten Vorteilen des Beauftragten gehören unter anderem sogenannte Retrozessionen bzw. Rückvergütungen. Darunter werden namentlich Zahlungen verstanden, die dem Vermögensverwalter gestützt auf eine entsprechende Vereinbarung mit der Depotbank aus vereinnahmten Gebühren zufliessen. Diese fallen im Zusammenhang mit der Verwaltung des Vermögens an und unterliegen daher der Herausgabepflicht nach Art. 400 Abs. 1 OR (BGE 132 III 460 E. 4.1 S. 464 f. mit Hinweisen).
2.2 Nach der Rechtsprechung des Bundesgerichts ist die Pflicht zur Herausgabe im Sinne von Art. 400 OR nicht zwingend. Der Auftraggeber kann auf die Ablieferung bestimmter Werte verzichten. Dabei ist nicht nur ein nachträglicher Verzicht auf die Herausgabe bereits erlangter Vorteile zulässig. Die Parteien können grundsätzlich auch vereinbaren, dass der Auftraggeber auf die Ablieferung bestimmter künftig anfallender Werte verzichtet. Die Gültigkeit eines solchen Verzichts setzt jedoch voraus, dass der Auftraggeber über die zu erwartenden Retrozessionen vollständig und wahrheitsgetreu informiert ist, und dass sein Wille, auf deren Ablieferung zu verzichten, aus der Vereinbarung entsprechend deutlich hervorgeht (BGE 132 III 460 E. 4.2 S. 465 f. mit Hinweisen).
Darüber, welche konkreten Anforderungen an die Information des Auftraggebers zu stellen sind, damit der von ihm ausgesprochene Verzicht auf die Ablieferung gültig ist, herrscht in der Lehre Uneinigkeit. Während einzelne Autoren davon ausgehen, dass der Auftraggeber die genaue Höhe der Retrozessionen kennen müsse (BRETTON-CHEVALLIER, Le gérant de fortune indépendant, 2002, S. 164; vgl. auch BELLINA BORER-BENZ, Die Herausgabepflicht des Beauftragten gemäss Art. 400 Abs. 1 OR, 2006, S. 161), verlangt eine zweite Gruppe Informationen zur Berechnungsgrundlage und zur Grössenordnung der zu erwartenden Retrozessionen (MATTHIAS NÄNNI/HANS CASPAR VON DER CRONE, Rückvergütungen im Recht der unabhängigen Vermögensverwaltung, SZW 2006 S. 383; SUSAN EMMENEGGER, Anlagekosten: Retrozessionen im Lichte der bundesgerichtlichen Rechtsprechung, in: Emmenegger [Hrsg.], Anlagerecht, 2007, S. 84; FABIAN SCHMID, Retrozessionen an externe Vermögensverwalter, 2009, S. 188 ff.; THOMAS REIMANN/ROLF KUHN, Nach dem Retrozessionsentscheid: Konsequenzen für Vermögensverwalter, Der Schweizer Treuhänder 80/2006 S. 690; MONIKA ROTH, Das Dreiecksverhältnis Kunde - Bank - Vermögensverwalter, 2007, Rz. 181; ROLF KUHN, Retrozessionszahlungen an externe Vermögensverwalter, AJP 2006 S. 1054; JEAN-YVES DE BOTH, La saga des rétrocessions, in: liber amicorum Vincent Jeanneret, Transparence et secret dans l'ordre juridique, 2010, S. 125 f.; vgl. auch WERNER DE CAPITANI, Retrozessionen an externe Vermögensverwalter, in: Festschrift Jean-Paul Chappuis, 1998, S. 27 Rz. 5). Eine weitere Lehrmeinung will eine ausdrückliche Verzichtsklausel ohne Kenntnis der genauen oder auch nur ungefähren Höhe der Retrozessionen genügen lassen und zusätzliche Informationen nur ausnahmsweise bzw. nur auf Anfrage des Kunden voraussetzen (SANDRO ABEGGLEN, Der Verzicht auf Ablieferung von Retrozessionen - Einordnung und Anforderungen, recht 25/2007 S. 199, 203; CHRISTOPH GUTZWILLER, Rechtsfragen der Vermögensverwaltung, 2008, S. 203; PETER CH. HSU, Retrozessionen, Provisionen und Finder's Fees, 2006, S. 35 f.; CARLO LOMBARDINI/ALAIN MACALUSO, Rétrocessions et rétributions dans le domaine bancaire, AJP 2008 S. 183 ff.; vgl. auch PETER CH. HSU/ERIC STUPP, Retrozessionen sind grundsätzlich dem Kunden abzuliefern, GesKR 2006 S. 206, die für einen ausdrücklichen Vorausverzicht des Kunden immerhin fordern, dass der unabhängige Vermögensverwalter den Kunden über den Umstand informiert, dass ihm Retrozessionen zukommen, und er dem Kunden ausdrücklich anbietet, auf Wunsch vor dem Verzicht genauere Auskunft über die Zusammensetzung und die mutmassliche Höhe der Retrozessionen zu erteilen).
2.3 Wie die Rechenschaftspflicht ist auch die mit ihr eng verbundene Pflicht zur Ablieferung ein zentrales Element der Fremdnützigkeit des Auftrags (BGE 132 III 460 E. 4.2 S. 465 f.; vgl. auch FABIAN SCHMID, a.a.O., S. 181). Die Herausgabepflicht nach Art. 400 Abs. 1 OR lässt sich darüber hinaus als Konkretisierung der Treuepflicht nach Art. 398 Abs. 2 OR verstehen (ROLF H. WEBER, in: Basler Kommentar, Obligationenrecht I, 4. Aufl. 2007, N. 9 zu Art. 398 OR; JOSEF HOFSTETTER, Der Auftrag und die Geschäftsführung ohne Auftrag, SPR VII/6, 2000, S. 36; NÄNNI/VON DER CRONE, a.a.O., S. 379; BRETTON-CHEVALLIER, a.a.O., S. 156; vgl. auch WALTER FELLMANN, Berner Kommentar, 1992, N. 128 zu Art. 400 OR, der eine Verbindung von Herausgabepflicht und Interessenwahrung herstellt). Die Ablieferungspflicht garantiert die Einhaltung der Treuepflicht und stellt insofern eine präventive Massnahme zur Wahrung der Interessen des Auftraggebers dar, indem sie der Gefahr begegnet, der Beauftragte könnte sich aufgrund der Zuwendung eines Dritten veranlasst sehen, die Interessen des Auftraggebers nicht ausreichend zu berücksichtigen (NÄNNI/VON DER CRONE, a.a.O., S. 379; vgl. auch BRETTON-CHEVALLIER, a.a.O., S. 161; FELLMANN, a.a.O., N. 128 zu Art. 400 OR).
Ein Interessenkonflikt ergibt sich etwa bei transaktionsabhängigen Rückvergütungen aus dem damit verbundenen Anreiz des Vermögensverwalters, durch (zu) häufige Transaktionen (sog. Churning) ein Zusatzeinkommen zu erzielen (BGE 132 III 460 E. 4.2 S. 466; vgl. GUTZWILLER, a.a.O., S. 198; MONIKA ROTH, Retrozessionen und Interessenkonflikte - wenn der Berater in Tat und Wahrheit ein Verkäufer ist, ZBJV 146/2010 S. 522 f.; RAPHAËL CAMP/CHRISTIAN BÜHRER, Retrozessionszahlungen, Der Schweizer Treuhänder 80/2006 S. 530; KUHN, a.a.O., S. 1052).
2.4 Ein voraussetzungsloser pauschaler Verzicht auf die Herausgabe von Retrozessionen ist im Hinblick auf die damit verbundene Gefahr von Interessenkonflikten, die durch die Ablieferungspflicht nach Art. 400 Abs. 1 OR gerade verhindert werden sollen, problematisch. Eine Vereinbarung der Parteien, wonach allfällige Retrozessionen beim Vermögensverwalter verbleiben, setzt daher voraus, dass der Auftraggeber über die zu erwartenden Retrozessionen hinreichend informiert ist. Die sich aus der eigentlichen Fremdnützigkeit des Auftrags ergebenden Schranken sind gewahrt, sofern der Auftraggeber den Umfang sowie die Berechnungsgrundlagen der Retrozessionen kennt, die es ihm erlauben, die Kostenstruktur des Vermögensverwaltungsmandats zu erfassen sowie die damit verbundenen Interessenkonflikte des Vermögensverwalters zu erkennen, und er im Wissen darum dem konkreten Entschädigungsmodell zustimmt.
Geht man davon aus, dass im Vermögensverwaltungsgeschäft ohne Rückvergütungen anstelle der indirekten Kosten höhere direkte Kosten in Form von Honoraren anfallen würden und sich der Ertrag somit letztlich gleich bleibt, verzichtet der (informierte) Auftraggeber mit der Preisgabe seines Herausgabeanspruchs letztlich nicht auf Geld, sondern insbesondere auf das gesetzlich vorgegebene System zur Vermeidung von Interessenkonflikten (vgl. NÄNNI/VON DER CRONE, a.a.O., S. 383; BRETTON-CHEVALIER, a.a.O., S. 164 f.; CHRISTOPH MÜLLER/MÉLANIE MADER, Développements récents de la jurisprudence en matière des contrats spéciaux, in: Jean-Marc Rapp und andere [Hrsg.], Actualité du droit des contrats, 2008, S. 166; vgl. aber auch ROTH, Dreiecksverhältnis, a.a.O., Rz. 169, die im Falle der Weitergabe der Rückvergütungen an den Kunden eher von einer für den Anleger vorteilhafteren Kostenbilanz ausgeht). Der Auftraggeber muss daher wissen, welche Verwaltungshandlungen und in welchem Ausmass diese von Abreden mit Dritten beeinflusst sein können (NÄNNI/VON DER CRONE, a.a.O., S. 383). Ohne Kenntnis der anfallenden Rückvergütungen ist es weder möglich, die Kostenstruktur zu durchschauen und damit die Plausibilität der anfallenden Aufwendungen einzuschätzen, noch allfällige Interessenkonflikte oder -verletzungen seitens des Vermögensverwalters zu erkennen (WOLFGANG WIEGAND/CORINNE ZELLWEGER-GUTKNECHT, Privatrechtliche Probleme der Vermögensverwaltung, in: Wiegand [Hrsg.], Vermögensverwaltung und Nachlassplanung, 2005, S. 44; HSU, a.a.O., S. 27; BORER-BENZ, a.a.O., S. 153). Ein vorgängiger Verzicht auf die Information bezüglich Rückvergütungen ist nicht möglich; ein solcher käme einem voraussetzungslosen Herausgabeverzicht gleich (ROTH, Dreiecksverhältnis, a.a.O., Rz. 182; FABIAN SCHMID, a.a.O., S. 181; KUHN, a.a.O., S. 1054; CLAUDE BRETTON-CHEVALLIER, Les clauses de confidentialité dans les accords de collaboration, in: liber amicorum Vincent Jeanneret, Transparence et secret dans l'ordre juridique, 2010, S. 113 FN 20; a.M. HSU, a.a.O., S. 28 f.).
Damit ein Vorausverzicht auf die Ablieferung gültig ist, muss der Auftraggeber demnach die Parameter kennen, die zur Berechnung des Gesamtbetrags der Retrozessionen notwendig sind und einen Vergleich mit dem vereinbarten Vermögensverwaltungshonorar erlauben. Eine genaue Bezifferung ist bei einem vorgängigen Verzicht nicht möglich, da sich der Gesamtbetrag des verwalteten Vermögens laufend verändert und die genaue Anzahl bzw. der Umfang der durchzuführenden Transaktionen im Zeitpunkt des Verzichts unbekannt ist (vgl. ABEGGLEN, a.a.O., S. 195; EMMENEGGER, a.a.O., S. 84; FABIAN SCHMID, a.a.O., S. 189; BRETTON-CHEVALLIER, gérant de fortune, a.a.O., S. 164; GUTZWILLER, a.a.O., S. 202; ROTH, Dreiecksverhältnis, a.a.O., Rz. 181). Damit der Kunde den Umfang der zu erwartenden Retrozessionen erfassen und dem vereinbarten Honorar gegenüberstellen kann, muss er zumindest die Eckwerte der bestehenden Retrozessionsvereinbarungen mit Dritten sowie die Grössenordnung der zu erwartenden Rückvergütungen kennen (vgl. NÄNNI/VON DER CRONE, a.a.O., S. 383; FABIAN SCHMID, a.a.O., S. 189; ROTH, Dreiecksverhältnis, a.a.O., Rz. 195; REIMANN/KUHN, a.a.O., S. 690). Letzterem Erfordernis wird beim Vorausverzicht Genüge getan, wenn die Höhe der erwarteten Rückvergütungen in einer Prozentbandbreite des verwalteten Vermögens angegeben wird (vgl. HSU/STUPP, a.a.O., S. 206; HSU, a.a.O., S. 36; EMMENEGGER, a.a.O., S. 84; FABIAN SCHMID, a.a.O., S. 190; REIMANN/KUHN, a.a.O., S. 690). Das Zusammenspiel dieser beiden Elemente ermöglicht es dem Auftraggeber, im Hinblick auf einen Verzicht sowohl die Gesamtkosten der Vermögensverwaltung zu erfassen als auch die beim Vermögensverwalter aufgrund der konkreten Anreizstrukturen vorhandenen Interessenkonflikte zu erkennen.
2.5 Eine Pflicht, den Kunden im Hinblick auf eine Verzichtserklärung unaufgefordert über den Umstand der zufliessenden Retrozessionen zu informieren, der für diesen angesichts der damit verbundenen Gefahr von Interessenkonflikten zweifellos von Bedeutung ist, folgt bei der Ausführung des Auftrags aus der Treuepflicht des Beauftragten (vgl. BGE 115 II 62 E. 3a S. 64 f.), ergibt sich jedoch bereits vor Abschluss des Vertrags aus dessen vorvertraglicher Aufklärungspflicht (vgl. BRETTON-CHEVALLIER, gérant de fortune, a.a.O., S. 95 f.; FABIAN SCHMID, a.a.O., S. 136; BORER-BENZ, a.a.O., S. 151 ff.; zu den vorvertraglichen Aufklärungspflichten FELLMANN, a.a.O., N. 150 ff. zu Art. 398 OR). Inwieweit eine aktive Aufklärung erforderlich ist, damit die Kenntnis des Auftraggebers hinsichtlich der Retrozessionen für einen Verzicht ausreicht, ist im Einzelfall zu bestimmen, wobei auch der Geschäftserfahrenheit des Auftraggebers Rechnung zu tragen ist (vgl. ROLAND VON BÜREN/HANS PETER WALTER, Die wirtschaftsrechtliche Rechtsprechung des Bundesgerichts im Jahr 2006, ZBJV 143/2007 S. 499 f.; JÖRG SCHMID, Die privatrechtliche Rechtsprechung des Bundesgerichts im Jahr 2006 und 2007, ZBJV 146/2010 S. 625; FABIAN SCHMID, a.a.O., S. 190 f.).
Während ein gänzlich unerfahrener und unwissender Kunde vom Vermögensverwalter über sämtliche erwähnten Punkte aufzuklären und auf die entsprechenden Zusammenhänge im Einzelnen aufmerksam zu machen ist, aus denen sich angesichts des Empfangs von Leistungen Dritter Interessenkonflikte ergeben können, reicht beim erfahrenen und in finanziellen Angelegenheiten sachkundigen Vermögensträger ein Hinweis auf die technischen Eckwerte der bestehenden Retrozessionsvereinbarungen mit Dritten sowie auf das zu erwartende Transaktionsvolumen bzw. die Angabe der erwarteten Rückvergütungen als Prozentbandbreite des verwalteten Vermögens aus. Die Aufklärung muss dabei weder im einen noch im anderen Fall in einer besonderen Form erfolgen.
Hat der Auftraggeber hingegen - etwa aufgrund einer vorbestehenden Geschäftsbeziehung oder infolge Information durch Dritte - im Zeitpunkt des Vertragsschlusses bereits Kenntnis der massgebenden Berechnungsgrundlagen, besteht kein Informationsbedarf und der erklärte Verzicht ist auch ohne besondere Aufklärung durch den Vermögensverwalter gültig (vgl. VON BÜREN/WALTER, a.a.O., S. 499 f.; FABIAN SCHMID, a.a.O., S. 190 f.). Der Beauftragte, der dem Herausgabeanspruch des Kunden dessen Verzicht auf die Ablieferung zugeflossener Rückvergütungen entgegenhalten will, hat jedoch nach Art. 8 ZGB zu beweisen, dass die Voraussetzung der hinreichenden Information beim Auftraggeber vorlag. Ein bloss allgemeiner Hinweis, wonach der Vermögensverwalter möglicherweise Rückvergütungen von Dritten erhält, lässt den Auftraggeber die Tragweite des Verzichts nicht erkennen und ist daher nicht ausreichend (NÄNNI/VON DER CRONE, a.a.O., S. 382; EMMENEGGER, a.a.O., S. 83; vgl. auch ROTH, Dreiecksverhältnis, a.a.O., Rz. 195; CORINNE ZELLWEGER-GUTKNECHT, Chronik der bundesgerichtlichen Rechtsprechung Oktober 2005 - Oktober 2006, in: Peter Nobel [Hrsg.], Aktuelle Rechtsprobleme des Finanz- und Börsenplatzes Schweiz, 2007, S. 133; FABIAN SCHMID, a.a.O., S. 189 f.; a.M. ABEGGLEN, a.a.O., S. 199; vgl. auch CARLO LOMBARDINI/ALAIN MACALUSO, a.a.O., S. 183; SIMON SCHÄREN, Rechenschafts- und Herausgabepflicht des Vermögensverwalters im Bezug auf "Retrozessionen", AJP 2008 S. 1210).
2.6 Ziffer 7 der zwischen den Parteien abgeschlossenen "Asset-Management-Vereinbarung" vom 2. Mai 1996 hält fest, dass allfällige Retrozessionen vollumfänglich der Beschwerdegegnerin zustehen sollen. Der im Vertrag enthaltene Hinweis darauf, dass die Beschwerdegegnerin möglicherweise Rückvergütungen von Dritten entgegennimmt, reicht für einen gültigen Verzicht der Beschwerdeführerin auf ihren auftragsrechtlichen Herausgabeanspruch (Art. 400 Abs. 1 OR) allerdings nicht aus. Ebenso wenig lässt sich aus dem von der Vorinstanz in allgemeiner Weise festgestellten "hohen Fachwissen" bzw. der "bereits vorhandenen Geschäftserfahrung" auf eine konkrete Information der Beschwerdeführerin hinsichtlich der Berechnungsgrundlage der von der Depotbank M._ ausgerichteten Rückvergütungen, geschweige denn deren voraussichtliche Grössenordnung schliessen, worauf auch der angefochtene Entscheid zutreffend hinweist.
Die Beschwerdegegnerin vermochte weder nachzuweisen, dass sie der Beschwerdeführerin gegenüber die massgebenden Berechnungsparameter offengelegt, noch dass sie sich konkret zur Grössenordnung der (aufgrund der ungefähren Häufigkeit der massgebenden Transaktionen) zu erwartenden Rückvergütungen geäussert hätte. Dem angefochtenen Entscheid lässt sich auch nicht entnehmen, dass der Beschwerdeführerin die entsprechenden Berechnungsgrundlagen der zufliessenden Retrozessionen anderweitig zur Kenntnis gebracht worden wären, etwa durch Information seitens der Depotbank (zur Informationspflicht der Bank hinsichtlich Retrozessionen etwa WIEGAND/ZELLWEGER-GUTKNECHT, a.a.O., S. 45 ff.; BRETTON-CHEVALLIER, gérant de fortune, a.a.O., S. 165 f.; CARLO LOMBARDINI, Droit bancaire suisse, 2. Aufl. 2008, S. 746 f. Rz. 108; BORER-BENZ, a.a.O., S. 129 f.; ROTH, Dreiecksverhältnis, a.a.O., Rz. 53 f., 63; rechtsvergleichend das Urteil des BGH vom 19. Dezember 2000, publiziert in: Entscheidungen des Bundesgerichtshofes in Zivilsachen [BGHZ] 146 [2001] 235 E. 2 S. 238 ff.; vgl. auch ROLF WATTER, Über die Pflichten der Bank bei externer Vermögensverwaltung, AJP 1998 S. 1177; vgl. demgegenüber DE CAPITANI, a.a.O., S. 31 ff. Rz. 18 ff.).
Entgegen dem angefochtenen Entscheid reichte für einen gültigen Vorausverzicht auch der Umstand nicht aus, dass die Beschwerdeführerin hätte annehmen müssen, dass Retrozessionen aus den Transaktionskosten fliessen würden und diese "in ihrer Höhe rein mathematisch begrenzt waren durch die maximale Höhe der vereinnahmten Transaktionskosten, also 0.5 % auf dem Gesamtvolumen aller Transaktionen". Diese allgemeinen Angaben, über die der Auftraggeber regelmässig verfügt, lassen ebenso wenig auf die im Einzelfall tatsächlich entrichteten Rückvergütungen schliessen wie die von der Vorinstanz unter Berufung auf den Verband Schweizerischer Vermögensverwalter angeführten durchschnittlich erzielbaren Bruttomargen im Vermögensverwaltungsgeschäft. Abgesehen davon, dass der Beschwerdeführerin die konkreten Ansätze der von der Bank M._ ausgerichteten Rückvergütungen unbekannt waren, lässt sich den Sachverhaltsfeststellungen des angefochtenen Entscheids auch nicht entnehmen, dass sie über das zu erwartende Transaktionsvolumen informiert gewesen wäre.
Das von der Vorinstanz festgestellte Wissen der Beschwerdeführerin über die von der Beschwerdegegnerin vereinnahmten Rückvergütungen reichte für einen rechtswirksamen Verzicht auf den auftragsrechtlichen Herausgabeanspruch (Art. 400 Abs. 1 OR) nicht aus.
2.7 Der abgeschlossene Vertrag ist damit teilnichtig (Art. 20 Abs. 2 OR), d.h. er gilt, jedoch ohne den Herausgabeverzicht (EMMENEGGER, a.a.O., S. 84). Damit hat die Beschwerdeführerin nach Art. 400 Abs. 1 OR grundsätzlich Anspruch auf Herausgabe der Retrozessionen, die der Beschwerdegegnerin im Zusammenhang mit der vereinbarten Vermögensverwaltung zugeflossen sind.
Die Beschwerdegegnerin hat im kantonalen Verfahren jedoch verrechnungsweise eigene Ansprüche gegenüber der Beschwerdeführerin erhoben. Aufgrund der Erwägungen im angefochtenen Entscheid zur Wirksamkeit des Verzichts, die sich als unzutreffend erwiesen haben, hat die Vorinstanz auf die Prüfung der geltend gemachten Verrechnungsforderung verzichtet. Entsprechend ist die Streitsache zur Beurteilung der Verrechnungsforderung an die Vorinstanz zurückzuweisen.
3. Die Beschwerde ist teilweise gutzuheissen, das angefochtene Urteil des Obergerichts des Kantons Zug vom 23. März 2010 ist aufzuheben und die Sache ist gestützt auf Art. 107 Abs. 2 BGG zu neuer Entscheidung an die Vorinstanz zurückzuweisen. Die Vorinstanz wird dabei auch über die Kosten- und Entschädigungsfolgen des kantonalen Verfahrens neu zu entscheiden haben.
Dem Ausgang des Verfahrens entsprechend wird die Beschwerdegegnerin kosten- und entschädigungspflichtig (Art. 66 Abs. 1 sowie Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird teilweise gutgeheissen, das Urteil des Obergerichts des Kantons Zug vom 23. März 2010 wird aufgehoben und die Sache zu neuer Entscheidung an die Vorinstanz zurückgewiesen.
2. Die Gerichtskosten von Fr. 20'000.-- werden der Beschwerdegegnerin auferlegt.
3. Die Beschwerdegegnerin hat die Beschwerdeführerin für das bundesgerichtliche Verfahren mit Fr. 22'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zug, Zivilrechtliche Abteilung, schriftlich mitgeteilt.
Lausanne, 29. August 2011
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Der Gerichtsschreiber: Leemann