Sachverhalt:
A. Die X._ AG (Beschwerdeführerin) mit Sitz in Z._ und die Y._ AG (Beschwerdegegnerin) mit Sitz in Q._ schlossen am 18./19. Dezember 2002 eine Vereinbarung, wonach die Beschwerdeführerin der Beschwerdegegnerin für das per 31. Dezember 2002 von der S._ AG in die Beschwerdeführerin eingebrachte Versicherungsportefeuille eine Entschädigung von 17 % der eingegangenen Courtagen und Erfolgsbeteiligungen, die auf dieses Portefeuille entfallen, solange ausrichtet, bis der Betrag von Fr. 545'000.-- abgegolten ist.
B. B.a Am 26. März 2008 reichte die Beschwerdegegnerin gegen die Beschwerdeführerin beim Handelsgericht Zürich Klage ein. Damit verlangte sie die Zahlung von Fr. 65'985.70 nebst Zins (Rechtsbegehren 1) sowie die Herausgabe detaillierter Provisionsabrechnungen für die Jahre 2003, 2004, 2005 und 2007 und die Einsichtnahme in die entsprechenden Unterlagen (Rechtsbegehren 2), wobei von einem allfälligen Nachklagevorbehalt Vormerk zu nehmen sei. Sie machte geltend, dass gewisse Kunden aufgrund unsorgfältiger Mandatsführung durch die Beschwerdeführerin ihre Mäklerverträge mit dieser gekündigt hätten, und verlangte wegen verlorener Courtagen Schadenersatz. Zudem forderte sie bezüglich bestimmter Kunden ihre Courtageanteile für das Jahr 2007, welche die Beschwerdeführerin ungerechtfertigt zurückbehalten habe. Dieser Forderung stellte die Beschwerdeführerin eine Verrechnungseinrede gegenüber. In der Replik änderte die Beschwerdegegnerin ihre Rechtsbegehren wie folgt:
"1. Die Beklagte sei zu verpflichten, der Klägerin CHF 64'490.55 nebst 5% Zins ab 19. Oktober 2007 zu bezahlen.
2. a) Die Beklagte sei unter Androhung der Bestrafung gemäss <ref-law> im Widerhandlungsfall zu verpflichten, für die Jahre 2003-2007 detaillierte jährliche Provisionsabrechnungen gemäss Vereinbarung vom 18./19. Dezember 2002 (act. 4/5) zu erstellen und innerhalb von 4 Wochen ab Rechtskraft des Entscheids der Klägerin herauszugeben, unter genauer Angabe, welche Versicherungsgesellschaft im betreffenden Jahr für welche Versicherungsverträge wie hohe Courtagen und anderweitige Entschädigungen bezahlt hat, und zwar für die Kunden gemäss Kundenliste der S._ AG (act. 4/5).
b) Sodann sei die Beklagte unter Androhung der Bestrafung gemäss <ref-law> im Widerhandlungsfall zu verpflichten, der Klägerin oder einem von ihr beauftragten Treuhänder Einsicht in sämtliche Mäklerverträge mit den Kunden gemäss Kundenliste der S._ AG (act. 4/5), in sämtliche Prämienabrechnungen dieser Kunden, in sämtliche Verträge der Beklagten mit denjenigen Versicherungen, bei welchen diese Kunden versichert sind resp. waren sowie in sämtliche Courtagenabrechnungen bezüglich dieser Kunden zu gewähren, alles im Zeitraum vom 1. Januar 2003 bis 31. Dezember 2007.
c) Schliesslich sei die Beklagte unter Androhung der Bestrafung gemäss <ref-law> im Widerhandlungsfall zu verpflichten, der Klägerin Einsicht in die im Zeitraum 2003 und 2004 mit der T._ Versicherungen AG und der U._ Versicherungen geführte Korrespondenz betreffend die Auflösung von Versicherungsverträgen mit den Kunden gemäss Kundenliste der S._ AG (act. 4/5) zu gewähren.
3. Unter Kosten- und Entschädigungsfolgen zu Lasten der Beklagten.
Alles unter Nachklagevorbehalt."
Am 19. Oktober 2009 fällte das Handelsgericht folgendes Urteil:
"1. Die Beklagte wird verpflichtet, der Klägerin CHF 10'125.69 zuzüglich 5 % Zins seit dem 20. Oktober 2007 zu bezahlen.
Im Mehrbetrag wird die Klage abgewiesen.
2. a) Die Beklagte wird in teilweiser Gutheissung von Rechtsbegehren Ziff. 2 a) unter Androhung der Bestrafung ihrer Organe mit Busse gemäss <ref-law> im Widerhandlungsfall verpflichtet, für die Jahre 2003-2007 detaillierte jährliche Provisionsabrechnungen gemäss Vereinbarung vom 18./19. Dezember 2002 (act. 4/5) zu erstellen und innerhalb von 4 Wochen ab Rechtskraft des Entscheids der Klägerin herauszugeben, unter genauer Angabe, welche Versicherungsgesellschaft im betreffenden Jahr für welche Versicherungsverträge wie hohe Courtagen und anderweitige Entschädigungen bezahlt hat, und zwar für die Kunden gemäss Kundenliste der S._ AG (act. 4/5).
Ausgenommen hiervon sind von der Dispositivziffer 1 erfasste Sachverhalte, nämlich (a): Geltend gemachter Schadenersatz bis zum 31. Dezember 2007 wegen unsorgfältiger Mandatsführung betreffend folgende Kunden: V._ und 16 weitere; sowie (b): geltend gemachte Erfüllungsklage wegen "Ausschluss gewisser Courtagen" für das Jahr 2007 betreffend folgende Kunden (vgl. act. 4/35): W._ und 27 weitere.
b) Die Beklagte wird in teilweiser Gutheissung von Rechtsbegehren Ziff. 2 b) unter Androhung der Bestrafung ihrer Organe mit Busse gemäss <ref-law> im Widerhandlungsfall verpflichtet, der Klägerin oder einem von ihr beauftragten Treuhänder Einsicht in sämtliche Mäklerverträge mit den Kunden gemäss Kundenliste der S._ AG (act. 4/5), in sämtliche Prämienrechnungen dieser Kunden, in sämtliche Verträge der Beklagten mit denjenigen Versicherungen, bei welchen diese Kunden versichert sind resp. waren sowie in sämtliche Courtagenabrechnungen bezüglich dieser Kunden zu gewähren, alles im Zeitraum vom 1. Januar 2003 bis 31. Dezember 2007.
Ausgenommen hiervon sind von der Dispositivziffer 1 erfasste Sachverhalte, nämlich (a): Geltend gemachter Schadenersatz bis zum 31. Dezember 2007 wegen unsorgfältiger Mandatsführung betreffend folgende Kunden: V._ und 16 weitere; sowie (b): geltend gemachte Erfüllungsklage wegen "Ausschluss gewisser Courtagen" für das Jahr 2007 betreffend folgende Kunden (vgl. act. 4/35): W._ und 27 weitere.
c) Die Beklagte wird in teilweiser Gutheissung von Rechtsbegehren Ziff. 2 c) unter Androhung der Bestrafung ihrer Organe mit Busse gemäss <ref-law> im Widerhandlungsfall verpflichtet, der Klägerin Einsicht in die im Zeitraum 2003 und 2004 erfolgten Kündigungsschreiben von oder an die T._ Versicherungen AG und die U._ Versicherungen betreffend die Kunden gemäss Kundenliste der S._ AG (act. 4/5) zu gewähren.
Ausgenommen hiervon sind von der Dispositivziffer 1 erfasste Sachverhalte, nämlich (a): Geltend gemachter Schadenersatz bis zum 31. Dezember 2007 wegen unsorgfältiger Mandatsführung betreffend folgende Kunden: V._ und 16 weitere; sowie (b): geltend gemachte Erfüllungsklage wegen "Ausschluss gewisser Courtagen" für das Jahr 2007 betreffend folgende Kunden (vgl. act. 4/35): W._ und 27 weitere.
3. Die Gerichtsgebühr wird festgesetzt auf CHF 11'000.--.
4. Die Kosten werden zu 4/5 der Klägerin und zu 1/5 der Beklagten auferlegt.
5. Die Klägerin wird verpflichtet, der Beklagten eine Prozessentschädigung von CHF 7'800.-- zu bezahlen.
[...]"
B.b Gegen dieses Urteil erhob die Beschwerdeführerin kantonale Nichtigkeitsbeschwerde an das Kassationsgericht des Kantons Zürich. Dieses wies die Beschwerde mit Zirkulationsbeschluss vom 30. Mai 2011 ab, soweit es darauf eintrat. Der Zirkulationsbeschluss des Kassationsgerichts wurde nicht angefochten.
C. Die Beschwerdeführerin stellt mit Beschwerde in Zivilsachen die folgenden Anträge:
"1. Es seien die Ziff. 2a, 2b und 2c des Dispositivs des Urteils des Handelsgerichts des Kantons Zürich vom 19. Oktober 2009 ersatzlos aufzuheben und es sei auf die Klage in diesem Umfang nicht einzutreten beziehungsweise die Klage sei in diesem Umfang abzuweisen und es seien die Ziff. 4 und 5 des Dispositivs dieses Urteils ausgangsgemäss anzupassen.
2. Eventualantrag:
Es sei an Stelle der Ziff. 2a, 2b und 2c des Dispositivs des Urteils des Handelsgerichts des Kantons Zürich vom 19. Oktober 2009 eine vollstreckungsfähige Anordnung zu erlassen, welche sich nicht auf die mittels Büroklammer an die Klagebeilage act. 4/5 angeheftete Liste angeblicher Kunden der S._ AG stützt und mit welcher genau bestimmt wird, hinsichtlich welcher namentlich genannter ehemaliger Kunden der S._ AG bezüglich welches Zeitraumes welche vertraglich geschuldeten Auskunfts- und Rechenschaftsablegungen von der Beschwerdeführerin zu erbringen sind.
3. Subeventualantrag:
Es seien die Ziff. 2a, 2b und 2c des Dispositivs des Urteils des Handelsgerichts des Kantons Zürich vom 19. Oktober 2009 aufzuheben und es sei die Frage des genauen Umfangs der Verpflichtung der Beschwerdeführerin zur Auskunfts- und Rechenschaftsablegung im Sinne des Eventualantrages Ziff. 2 an die Vorinstanz zurückzuweisen."
Die Beschwerdegegnerin beantragt, die Beschwerde abzuweisen, soweit auf sie einzutreten sei. Die Vorinstanz verzichtete auf eine Vernehmlassung.
Die Parteien reichten eine Replik und eine Duplik ein.
Mit Präsidialverfügung vom 15. August 2011 wurde der Beschwerde aufschiebende Wirkung erteilt.

Erwägungen:
1. 1.1 Die gegen das Urteil des Handelsgerichts vom 19. Oktober 2009 gerichtete Beschwerde wurde innert 30 Tagen seit Eröffnung des Zirkulationsbeschlusses des Kassationsgerichts beim Bundesgericht eingereicht. Da der angefochtene Entscheid des Handelsgerichts noch vor der Aufhebung von aArt. 100 Abs. 6 BGG per 1. Januar 2011 eröffnet worden ist, findet diese Bestimmung Anwendung auf das vorliegende Verfahren (vgl. <ref-law>). Die Beschwerde an das Bundesgericht wurde somit rechtzeitig erhoben.
1.2 Sodann ist auch das Streitwerterfordernis erfüllt. Die Beschwerde richtet sich zwar einzig gegen die Verpflichtung zur Auskunftserteilung und Rechenschaftsablegung (Dispositivziffern 2a-2c; klägerische Rechtsbegehren 2a-2c), deren Streitwert vom Handelsgericht mit Fr. 10'000.-- beziffert wird. Dispositivziffer 1, mit der die Forderungsklage beurteilt wurde, ist nicht angefochten. Indessen bestimmt sich der Streitwert für die Beschwerdefähigkeit nach den Rechtsbegehren, die vor der Vorinstanz streitig geblieben waren (<ref-law>). Dazu zählt auch das Rechtsbegehren 1 auf Bezahlung von Fr. 64'490.55. Die Streitwertgrenze von Fr. 30'000.-- ist demnach überschritten (<ref-law>).
2. Das Urteil des Handelsgerichts ist nur insofern der Beschwerde zugänglich, als es das Erfordernis der Letztinstanzlichkeit erfüllt, mithin für die gegen das Urteil erhobenen Rügen kein kantonales Rechtsmittel mehr offen stand (<ref-law>; <ref-ruling> E. 1.3 S. 527). Gegen das Urteil des Handelsgerichts konnte kantonale Nichtigkeitsbeschwerde an das Kassationsgericht nach § 281 aZPO/ZH erhoben werden. Von dieser Möglichkeit hat die Beschwerdeführerin vorliegend denn auch Gebrauch gemacht. Nach § 281 aZPO/ZH konnte mit Nichtigkeitsbeschwerde geltend gemacht werden, der angefochtene Entscheid beruhe zum Nachteil des Nichtigkeitsklägers auf einer Verletzung eines wesentlichen Verfahrensgrundsatzes (Ziff. 1), auf einer aktenwidrigen oder willkürlichen tatsächlichen Annahme (Ziff. 2) oder auf einer Verletzung klaren materiellen Rechts (Ziff. 3). Ausgeschlossen war die kantonale Nichtigkeitsbeschwerde, wenn der Entscheid dem Weiterzug an das Bundesgericht unterlag und das Bundesgericht den geltend gemachten Mangel frei überprüfen konnte. Stets war die Nichtigkeitsbeschwerde aber zulässig, wenn eine Verletzung von Art. 8, 9, 29 oder 30 BV oder von Art. 6 EMRK geltend gemacht wurde (Art. 285 Abs. 1 und 2 aZPO/ZH).
Das angefochtene Urteil des Handelsgerichts stellt daher insoweit keinen letztinstanzlichen Entscheid dar, als geltend gemacht wird, das Handelsgericht habe darin willkürliche tatsächliche Feststellungen getroffen, den Anspruch der Beschwerdeführerin auf rechtliches Gehör verletzt (<ref-law>) oder kantonales Recht willkürlich angewendet (<ref-law>). Solche Rügen konnte die Beschwerdeführerin dem Kassationsgericht unterbreiten. Wenn sie mit deren Beurteilung durch das Kassationsgericht nicht einverstanden gewesen wäre, hätte sie dies in einer Beschwerde gegen den Zirkulationsbeschluss des Kassationsgerichts beim Bundesgericht rügen können (vgl. <ref-ruling> E. 1.2 S. 278). Diesen Entscheid hat sie indessen nicht angefochten. Auf entsprechende Rügen gegen das Urteil des Handelsgerichts ist mangels Letztinstanzlichkeit nicht einzutreten.
3. Für Rügen der Verletzung von Bundesrecht ist das Urteil des Handelsgerichts ein letztinstanzlicher Entscheid. Diesbezüglich sind aber die gesetzlichen Begründungsanforderungen zu beachten, andernfalls auf solche Rügen nicht eingetreten wird: In der Beschwerdeschrift ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt (<ref-law>). Unerlässlich ist im Hinblick auf <ref-law>, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Verletzung von Bundesrecht liegt. Der Beschwerdeführer soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die er im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit seiner Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (vgl. <ref-ruling> E. 2.1 S. 245 f.; <ref-ruling> E. 2a S. 400; <ref-ruling> E. 3 S. 748 f.).
Diesen Anforderungen wird die Beschwerdeführerin kaum gerecht. Sie wiederholt über weite Strecken ihre bereits im kantonalen Verfahren vertretenen Auffassungen. Dabei erweitert sie den vorinstanzlich festgestellten Sachverhalt nach Belieben. Ihre weitgehend appellatorischen Ausführungen lassen kaum hinlänglich begründete Rügen einer Verletzung von Bundesrecht erkennen. Im Einzelnen ist zu den Vorbringen der Beschwerdeführerin Folgendes zu bemerken:
4. In Ziffer 9 ihrer Beschwerde wirft sie der Vorinstanz vor, "Bundesrecht und insbesondere auch das rechtliche Gehör" verletzt zu haben, indem sie ohne jede Einschränkung eine vertragliche Auskunfts- und Rechenschaftspflicht der Beschwerdeführerin bezüglich sämtlicher Kunden, welche auf der act. 4/5 angehefteten Liste aufgeführt seien, angeordnet habe.
Mit dem unspezifischen Vorwurf einer Verletzung von "Bundesrecht" genügt die Beschwerdeführerin den Begründungsanforderungen nicht, kann ihren diesbezüglichen Ausführungen doch nicht entnommen werden, worin welche Bundesrechtsverletzung bestehen soll. Soweit sie insbesondere ihren Anspruch auf rechtliches Gehör verletzt sieht, kann auf die Rüge mangels Letztinstanzlichkeit nicht eingetreten werden (Erwägung 2).
Nach den Feststellungen der Vorinstanz ist in der Vereinbarung der Parteien vom 18./19. Dezember 2002 festgehalten, dass die Beschwerdeführerin "eine monatliche Abrechnung" zugunsten der Beschwerdegegnerin vornehme. Sodann verfügt die Beschwerdegegnerin "über ein jederzeitiges Einsichtsrecht in entsprechende Unterlagen". Aufgrund dieser Vereinbarung bejahte die Vorinstanz die Pflicht der Beschwerdeführerin zur Rechnungslegung und Einsichtsgewährung. Inwiefern sie damit Bundesrecht verletzt haben soll, legt die Beschwerdeführerin nicht dar.
Mit ihren Vorbringen, die letztlich alle dahingehen, es könne nicht auf die Kundenliste der S._ AG (act. 4/5) abgestellt werden, da sie zu verschiedenen auf dieser Liste aufgeführten Kunden nie in einer Vertragsbeziehung gestanden habe (oder nicht mehr stehe) und diese Liste nie einen Bestandteil des Vertrags zwischen den Parteien gebildet habe, wendet sich die Beschwerdeführerin nicht gegen den grundsätzlichen Bestand der ihr auferlegten Auskunfts- und Rechenschaftspflicht, sondern gegen deren Umfang. Dazu hat die Vorinstanz aber in Berücksichtigung der Vorbringen der Beschwerdeführerin klar festgehalten, es verstehe sich von selbst und gehe unzweifelhaft aus der Vereinbarung vom 18./19. Dezember 2002 hervor, dass die Beschwerdeführerin nur bezüglich solcher Kunden auskunfts- und abrechnungspflichtig sei, die sie auch tatsächlich von der S._ AG übernommen habe. Zudem bestehe die Auskunfts- und Rechenschaftspflicht nur bezüglich solcher Kunden, die auf der act. 4/5 angehängten Kundenliste namentlich aufgeführt seien. Soweit diese Kunden nicht mehr existierten, bestehe die Auskunftspflicht über die Tatsache der Auflösung (bei juristischen Personen) bzw. des Todes (bei natürlichen Personen) sowie eine Auskunfts- und Rechenschaftspflicht bis zum Zeitpunkt der Auflösung bzw. dem Tod. Die Änderung der Rechtsform sei jedoch grundsätzlich unbeachtlich, soweit es sich um eine Rechtsnachfolge handle.
Dabei ging die Vorinstanz in tatsächlicher Hinsicht davon aus, dass die besagte Kundenliste das von der S._ AG in die Beschwerdeführerin eingebrachte Versicherungsportefeuille wiedergebe. Daran ist das Bundesgericht gebunden (<ref-law> und Erwägung 2). Die Vorinstanz bezog die Auskunfts- und Rechenschaftspflicht der Beschwerdeführerin demnach folgerichtig grundsätzlich auf alle (nicht durchgestrichenen) Kunden der besagten Liste, wobei sie aber ausdrücklich festhielt, dass diese Pflicht nur im Rahmen der tatsächlichen Übernahme der Kunden von der S._ AG bestehe. Den Detaillierungsgrad der Auskunfts- und Rechenschaftspflicht bestimmte sie im Hinblick darauf, dass der Beschwerdegegnerin die Überprüfung ihres vertraglichen Entschädigungsanspruchs von 17 % möglich sein müsse. Dies impliziert die Angabe, welche Kundenbeziehungen in welchem Zeitpunkt allenfalls geendet haben. Dass die Vorinstanz mit dieser Festlegung des Umfangs der Auskunfts- und Rechenschaftspflicht Bundesrecht verletzt hätte und inwiefern, zeigt die Beschwerdeführerin nicht auf, jedenfalls nicht rechtsgenüglich.
5. In Ziffer 10 der Beschwerde wendet sich die Beschwerdeführerin gegen die Verpflichtung gemäss Dispositivziffer 2c, Einsicht in die im Zeitraum 2003 und 2004 erfolgten Kündigungsschreiben von oder an die T._ Versicherungen AG und die U._ Versicherungen betreffend die Kunden gemäss Kundenliste der S._ AG (act. 4/5) zu gewähren. Die Vorinstanz habe "zu Unrecht und in Verletzung des rechtlichen Gehörs" eine vertragliche Grundlage zur Einsicht in Kündigungsschreiben von und an Versicherungsgesellschaften angenommen. Die Beschwerdeführerin macht geltend, ihr Courtageanspruch als Versicherungsbrokerin (und damit der vertragliche Courtageanteil der Beschwerdegegnerin) hänge "einzig vom Bestand des Maklervertrages zwischen der Beschwerdeführerin und dem jeweiligen Kunden und nicht von den (wechselnden) Versicherungsverträgen zwischen Kunde und Versicherungsgesellschaft" ab. Der Beschwerdeführerin komme hinsichtlich der Vertragsbeziehung zwischen dem Versicherungskunden und der Versicherungsgesellschaft keine Passivlegitimation zu.
Die Vorinstanz verkannte nicht, dass sich das Einsichtsrecht der Beschwerdegegnerin nicht schlechthin auf Unterlagen beziehen kann, welche das Verhältnis zwischen dem Kunden und der jeweiligen Versicherungsgesellschaft betreffen, da die Beschwerdeführerin in diesem Versicherungsverhältnis nicht Partei ist. Das Einsichtsrecht dient der Überprüfung des vertraglichen Anspruchs der Beschwerdegegnerin auf einen Anteil an den eingegangenen Courtagen und Erfolgsbeteiligungen. Nun hängen Entstehung und Fortbestand des Courtageanspruchs aber nicht nur vom Mandatsverhältnis zwischen Versicherungsnehmer und Makler, sondern auch von der Erfüllung des Versicherungsvertrags ab (<ref-ruling> E. 4b S. 485 f.). Der Bestand von Versicherungsverträgen spielt mithin indirekt für den Courtageanspruch der Beschwerdeführerin und damit für den vertraglichen Anteil der Beschwerdegegnerin eine Rolle und musste demnach nicht vollständig vom Einsichtsrecht ausgenommen werden. Richtigerweise beschränkte die Vorinstanz das Einsichtsrecht der Beschwerdegegnerin aber auf Dokumente, welche die Tatsache der Vertragsauflösung betreffen. Nach dem Gesagten ist die in Dispositivziffer 2c der Beschwerdeführerin auferlegte Pflicht zur Gewährung von Einsicht in die dort genannten Kündigungsschreiben bundesrechtlich nicht zu beanstanden.
Auf die in diesem Kontext erhobene Rüge der Verletzung des rechtlichen Gehörs gemäss Ziffer 10.5 der Beschwerde kann mangels Letztinstanzlichkeit nicht eingetreten werden (Erwägung 2).
6. In den Ausführungen unter Ziffer 11 der Beschwerde kann die Rüge erblickt werden, die Vorinstanz habe gegen das Bestimmtheitsgebot von Dispositiven verstossen (vgl. dazu betreffend Unterlassungsbegehren <ref-ruling>; Urteil 4A_106/2009 vom 1. Oktober 2009 E. 11.3, nicht publ. in: <ref-ruling>; Urteil 4C.361/2005 vom 22. Februar 2006 E. 3).
Die Beschwerdeführerin scheint der Auffassung zu sein, das Bestimmtheitsgebot werde dadurch verletzt, dass in den Dispositivziffern 2a-2c auf die Kundenliste der S._ AG (act. 4/5) verwiesen wird, ohne dass diese Liste in das Dispositiv aufgenommen oder diesem als integrierter Anhang beigefügt worden sei. Es ist indessen nicht unzulässig, im Dispositiv auf weitere Unterlagen zu verweisen, aus denen die für die Vollstreckung nötigen Angaben mit der erforderlichen Bestimmtheit hervorgehen. Dass Letzteres auf die besagte Kundenliste nicht zutreffen soll, zeigt die Beschwerdeführerin nicht hinlänglich auf. Namentlich ist entgegen ihren Andeutungen ohne weiteres klar, dass die in dieser Liste durchgestrichenen Kunden nicht erfasst sind. Wie schon das Kassationsgericht in plausibler Weise hervorhob, ergibt sich dies auch aus dem handschriftlichen Vermerk am Ende der Kundenliste "Total 63 Kunden", welche Anzahl mit der Anzahl aufgelisteter Kunden abzüglich der durchgestrichenen übereinstimmt.
Wenn die Beschwerdeführerin vorbringt, auf der besagten Liste befänden sich Namen, die nicht oder nicht mehr ihre Kunden seien bzw. diese Liste sei nie Vertragsbestandteil geworden, so sind das materielle Einwände gegen den angeordneten Umfang der Auskunfts- und Rechenschaftspflicht (dazu Erwägung 4), beschlagen aber nicht das Bestimmtheitsgebot von Dispositiven. Mithin wird auch unter diesem Titel keine Bundesrechtsverletzung dargetan.
7. Ziffer 12 der Beschwerde enthält Ausführungen zu Darstellungen, welche die Beschwerdeführerin in den kantonalen Rechtsschriften gemacht und welche die Vorinstanz in Verletzung des Gehörsanspruchs der Beschwerdeführerin angeblich ausser Acht gelassen habe. Einmal mehr kann auf die Rüge der Gehörsverletzung mangels Letztinstanzlichkeit indessen nicht eingetreten werden (Erwägung 2).
8. In Ziffer 13 der Beschwerde kritisiert die Beschwerdeführerin das prozessuale Vorgehen der Beschwerdegegnerin. Sie begründet aber nicht, worin eine Verletzung von Bundesrecht durch die Vorinstanz in diesem Zusammenhang bestehen soll. Namentlich ist die vorinstanzliche Beurteilung des Rechtsschutzinteresses der Beschwerdegegnerin an ihren Rechtsbegehren nicht zu beanstanden. Die Vorinstanz hielt ausdrücklich fest, dass bezüglich der gemäss Rechtsbegehren 1 geltend gemachten Forderungsklage kein rechtliches Interesse an einer Rechenschaftsablage bzw. Auskunftserteilung mehr besteht. Folgerichtig nahm sie einen entsprechenden Ausnahmekatalog in die Dispositivziffern 2a-2c auf. Die Vorinstanz erkannte aber auch zu Recht, dass bezüglich der von Dispositivziffer 1 nicht erfassten Sachverhalte das Rechtsschutzinteresse an der verlangten Rechenschaftsablage bzw. Auskunftserteilung bestehen blieb.
9. In Ziffer 14 der Beschwerde befasst sich die Beschwerdeführerin mit den Rechtsbegehren gemäss Replik der Beschwerdegegnerin, worin sie eine unzulässige Klageänderung erblickt. Sie rügt, mit der Zulassung der Klageänderung habe die Vorinstanz § 61 Abs. 1 aZPO/ZH verletzt. Mit dieser Rüge der Verletzung kantonalen Rechts kann die Beschwerdeführerin vor Bundesgericht nicht gehört werden (<ref-law>). In Betracht käme vielmehr einzig die Rüge, die Anwendung kantonalen Rechts führe zu einer Bundesrechtswidrigkeit, insbesondere zu einem Verstoss gegen das Willkürverbot von <ref-law> (<ref-ruling> E. 1 S. 95; <ref-ruling> E. 1 S. 203). Eine Willkürrüge erhebt und begründet die Beschwerdeführerin indessen nicht. Ohnehin könnte vorliegend auf die Rüge einer willkürlichen Anwendung kantonalen Rechts mangels Letztinstanzlichkeit nicht eingetreten werden (Erwägung 2). Nicht einzutreten ist auch auf die pauschale, nicht weiter begründete Rüge, "die Grundsätze der Rechtssicherheit und des Schutzes der beklagten Partei" seien verletzt.
10. In Ziffer 15 behauptet die Beschwerdeführerin, die in den Dispositivziffern 2a-2c mit Strafdrohung versehenen Anordnungen könnten nicht vollstreckt werden, weil sie das Bestimmtheitsgebot und das Legalitätsprinzip verletzten. Zur Begründung wiederholt sie im Wesentlichen ihre bereits vorgetragenen Einwände, insbesondere betreffend die Kundenliste der S._ AG (act. 4/5), mit denen sie aber hier über weite Strecken nicht gehört werden konnte und die sich im Übrigen als unbegründet herausstellten. Diesbezüglich kann auf das zuvor Gesagte, namentlich die Erwägungen 4 und 6, verwiesen werden. Soweit die Beschwerdeführerin zusätzlich geltend macht, der Ausnahmekatalog in den Dispositivziffern 2a-2c sei unbestimmt, enthalte unmögliche Inhalte und sei teilweise nicht verständlich, kann ihr ebenfalls nicht gefolgt werden. Die von der Auskunfts- und Rechenschaftspflicht ausgenommenen Sachverhalte werden entgegen den Spekulationen und "Auslegungsvarianten", welche die Beschwerdeführerin anstellt, im Dispositiv hinlänglich klar definiert, nämlich: geltend gemachter Schadenersatz bis zum 31. Dezember 2007 und geltend gemachte Erfüllungsklage wegen "Ausschluss gewisser Courtagen" für das Jahr 2007, jeweils betreffend die namentlich aufgezählten Kunden. Sollten im Ausnahmekatalog tatsächlich Kunden aufgeführt sein, die in der Kundenliste der S._ AG nicht enthalten sind, wie die Beschwerdeführerin geltend macht, so würde ihr dies nicht helfen. Denn aus der Aufführung von Kunden im Ausnahmekatalog kann der Beschwerdeführerin von vornherein kein Nachteil erwachsen.
11. Auf die Beschwerde kann grösstenteils nicht eingetreten werden. Im Übrigen ist sie abzuweisen. Bei diesem Ausgang des Verfahrens wird die Beschwerdeführerin kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 5'000.-- werden der Beschwerdeführerin auferlegt.
3. Die Beschwerdeführerin hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 6'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Handelsgericht des Kantons Zürich schriftlich mitgeteilt.
Lausanne, 1. November 2011
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Der Gerichtsschreiber: Kölz