Sachverhalt:
A. Die Y._ & Partner (Beschwerdegegnerin) ist eine Kommanditgesellschaft, die Assekuranz-Beratung und -Brokerage, Finanzierungen und Beratungen bezweckt. Die X._ AG (Beschwerdeführerin) bezweckt den Betrieb eines Dienstleistungsunternehmens für Versicherungstreuhand und Brokerage, insbesondere Erbringung von Treuhand-, Beratungs- und Verwaltungsdienstleistungen im Versicherungs-, Vorsorge- und Finanzbereich sowie Handel mit und Vermittlung von dazugehörenden Produkten.
Am 17. Januar 2001 schlossen die Beschwerdegegnerin und die Rechtsvorgängerin der Beschwerdeführerin eine Zusammenarbeitsvereinbarung ab. Danach bestand die Hauptaufgabe der Beschwerdegegnerin in der Mandatsvermittlung und der Akquisition von Neukunden (Ziff. 3), während sich die Beschwerdeführerin vor allem zu administrativen Arbeiten und zum Verkehr mit den Versicherern verpflichtete (Ziff. 2). Ziff. 6 der Vereinbarung regelte den Anspruch der Parteien auf Courtagen und Provisionen und deren Abrechnung durch die Beschwerdeführerin. Gemäss Ziff. 6.3 gestaltete sich die Aufteilung der von den Versicherern bezahlten Courtagen und Provisionen auf die Parteien unterschiedlich, je nachdem sie "Klienten-Akquisitions-Prämien und -Kunden" oder "Durch Y._ selbst betreute Kunden" betrafen.
Mit Schreiben vom 9. Dezember 2004 kündigte die Beschwerdeführerin die Zusammenarbeitsvereinbarung gestützt auf deren Ziff. 8.2 mit sofortiger Wirkung wegen Unzumutbarkeit der Fortsetzung der vertraglichen Beziehungen. Die Unzumutbarkeit begründete sie mit der Situation, welche die Beschwerdegegnerin mit einem Brief der Z._ GmbH vom 1. Dezember 2004 an die Kundschaft der Beschwerdeführerin geschaffen habe. Dieser Brief sei von den Kunden der Beschwerdeführerin so verstanden worden, dass die Beschwerdegegnerin neu eine Zusammenarbeit mit der Z._ GmbH eingegangen sei und nicht mehr mit der Beschwerdeführerin zusammenarbeite. Die von der Beschwerdegegnerin geschaffene Situation sei mit der Zusammenarbeitsvereinbarung in mehrfacher Hinsicht nicht vereinbar. So könne die Beschwerdegegnerin gemäss deren Ziff. 3 und 4 nicht für die Beschwerdeführerin Mandatsvermittlung und Akquisition betreiben sowie Briefpapier, Couverts und Visitenkarten der Beschwerdeführerin verwenden, wenn sie dies gleichzeitig auch für eine Konkurrenzunternehmung tue. Zudem verstosse die Zusammenarbeit mit einer Konkurrenzunternehmung, die gezielt Kunden der Beschwerdeführerin anschreibe, gegen die in Ziff. 5 vereinbarte Verpflichtung der Vermeidung gegenseitiger Behinderung im Markt. Endlich habe sich die Beschwerdegegnerin in Ziff. 7 verpflichtet, Kunden der Beschwerdeführerin weder aktiv abzuwerben noch passiv als Kunden aufzunehmen oder zu betreuen, was auch für ihre Zusammenarbeit mit anderen Unternehmen gelte.
Die Beschwerdegegnerin bestritt, dass ein Grund für die vorzeitige Auflösung des Vertrages vorliege, weshalb dieser erst per 31. Dezember 2005 gekündigt werden könne. Die Zusammenarbeitsvereinbarung enthalte keine Klausel, wonach Y._ nur für die Beschwerdeführerin tätig sein könne. Dieser habe denn auch mit Wissen des Verwaltungsratspräsidenten der Beschwerdeführerin, A._, Kunden teilweise bei anderen Brokern platziert. Die Beschwerdegegnerin verwahrte sich gegen die weiteren Vorwürfe der Beschwerdeführerin und machte diese auf ihre nach Auflösung des Vertrages weiterbestehenden Pflichten aufmerksam. Sodann verlangte sie die Offenlegung der Geschäftsbücher der Beschwerdeführerin und warf jener ihrerseits Verstösse gegen die Zusammenarbeitsvereinbarung und die Persönlichkeitsrechte von Y._ vor.
B. Am 27. Mai 2005 erhob die Beschwerdegegnerin beim Handelsgericht des Kantons Aargau Klage gegen die Beschwerdeführerin. Nach Überprüfung der Abrechnungen der Beschwerdeführerin durch einen Wirtschaftsprüfer stellte die Beschwerdegegnerin im Laufe des Verfahrens das folgende modifizierte Rechtsbegehren:
"1. Die Beklagte [Beschwerdeführerin] sei zu verpflichten, der Klägerin [Beschwerdegegnerin] Fr. 286'834.25 zuzüglich 5 % Zins seit jeweiligem Verfall zu bezahlen.
2. Es sei festzustellen, dass die von der Beklagten gegenüber der Klägerin ausgesprochene Kündigung der Zusammenarbeitsvereinbarung vom 17. Januar 2001 frühestens per 31. Dezember 2005 zulässig war.
3. Es sei festzustellen, dass die Beklagte der Klägerin die vertraglich vereinbarten Courtagen, Provisionen und Honorare über die Vollendung der Zusammenarbeitsvereinbarung vom 17. Januar 2001 hinaus bis zum Ende der vertraglich vereinbarten Fünfjahresfrist schuldet.
4. (...)."
Die Beschwerdeführerin anerkannte die Klage im Umfang von Fr. 16'179.40. Im Mehrumfang beantragte sie die Klage abzuweisen, eventuell sei sie zu verpflichten, der Beschwerdegegnerin den bis Ende 2005 geschuldeten, richterlich zu ermittelnden Betrag zu bezahlen.
Mit Urteil vom 3. Dezember 2009 verneinte das Handelsgericht, dass ein wichtiger Grund für die fristlose Auflösung des Zusammenarbeitsvertrages vorgelegen habe. Es verpflichtete die Beschwerdeführerin in teilweiser Gutheissung von Rechtsbegehren Ziffer 1 der geänderten Klage, der Beschwerdegegnerin Fr. 239'212.35 zu bezahlen, zuzüglich Zins zu je 5 % auf Fr. 4'398.75 seit 1. Oktober 2001, auf zusätzlichen Fr. 280.90 seit 1. Januar 2002, auf zusätzlichen Fr. 1499.15 seit 1. April 2002, auf zusätzlichen Fr. 2500.10 seit 1. Juli 2002, auf zusätzlichen Fr. 12'693.25 seit 1. Oktober 2002, auf zusätzlichen Fr. 1'495.20 seit 1. Januar 2003, auf zusätzlichen Fr. 8'625.40 seit 1. April 2004, auf zusätzlichen Fr. 1'447.65 seit 1. Oktober 2004, auf zusätzlichen Fr. 21'496.25 seit 1. Januar 2005, auf zusätzlichen Fr. 115'268.50 seit 1. Mai 2005 und auf zusätzlichen Fr. 46'911.20 seit 1. Januar 2006 (Urteil Ziffer 1). Teilweise schrieb das Handelsgericht das Begehren als durch Rückzug erledigt ab. Weiter stellte es in teilweiser Gutheissung von Rechtsbegehren Ziffer 3 der geänderten Klage fest, dass die Beschwerdeführerin der Beschwerdegegnerin die gemäss vertraglicher Vereinbarung nach Auflösung der Zusammenarbeitsvereinbarung bis zum 31. Dezember 2010 fällig werdenden Anteile an den von den Versicherern bezahlten Courtagen, Provisionen und Honoraren schulde (Urteil Ziffer 2). Im Mehrumfang wies es die Klage ab, soweit es darauf eintrat (Urteil Ziffer 3).
C. Die Beschwerdeführerin erhob gegen dieses Urteil Beschwerde in Zivilsachen mit dem folgenden Rechtsbegehren:
"1. In Gutheissung der Beschwerde sei Ziff. 1 des vorinstanzlichen Urteils aufzuheben und durch folgende Bestimmung zu ersetzen:
In teilweiser Gutheissung von Rechtsbegehren Ziffer 1 der geänderten Klage wird die Beschwerdeführerin verpflichtet, der Beschwerdegegnerin den Betrag von CHF 71'715.80 nebst Zins zu 5 % seit 27. Mai 2005 auf CHF 49'119.80 sowie Zins zu 5 % seit 23. Januar 2007 auf CHF 22'596.00 zu bezahlen.
2. Ziff. 2 des vorinstanzlichen Entscheids sei ersatzlos aufzuheben.
3. (...).
4. Eventualiter sei die Streitsache zur neuen Beurteilung an die Vorinstanz zurückzuweisen.
5. (...)."
Die Beschwerdegegnerin schliesst auf Abweisung der Beschwerde, soweit darauf einzutreten ist. Das Handelsgericht verzichtete auf eine Vernehmlassung zur Beschwerde.
Erwägungen:
1. Das Bundesgericht prüft von Amtes wegen und mit freier Kognition, ob ein Rechtsmittel zulässig ist (BGE 135 III 212 E. 1); immerhin muss die Eingabe auch bezüglich der Eintretensvoraussetzungen hinreichend begründet werden (Art. 42 Abs. 1 und 2 BGG; BGE 134 II 120 E. 1).
1.1 Die Beschwerdeschrift hat ein Rechtsbegehren zu enthalten (Art. 42 Abs. 1 BGG). Da die Beschwerde in Zivilsachen ein reformatorisches Rechtsmittel ist (Art. 107 Abs. 2 BGG), darf sich der Beschwerdeführer grundsätzlich nicht darauf beschränken, die Aufhebung des angefochtenen Entscheids zu beantragen, sondern muss einen Antrag in der Sache stellen. Er muss demnach angeben, welche Punkte des Entscheids angefochten und welche Abänderungen beantragt werden (BGE 134 III 379 E. 1.3; 133 III 489 E. 3.1).
Diesen Anforderungen genügt das vorliegend gestellte Rechtsbegehren insoweit nicht, als die Beschwerdeführerin lediglich die ersatzlose Aufhebung von Ziffer 2 des angefochtenen Entscheids beantragt, ohne anzugeben, wie über das darin teilweise gutgeheissene Feststellungsbegehren der Beschwerdegegnerin zu entscheiden wäre. Dass das Bundesgericht im Falle der Gutheissung der Beschwerde nicht selbst in der Lage wäre, ein Urteil über dieses Begehren zu fällen, und die Streitsache an die Vorinstanz zurückweisen müsste, geht aus dem angefochtenen Entscheid nicht ohne weiteres hervor. Zwar rügt die Beschwerdeführerin in verschiedener Hinsicht, die Vorinstanz habe den Sachverhalt unvollständig festgestellt. Sie tut aber nicht dar, dass das Bundesgericht, würde es diesen Rügen folgen, nicht in der Lage wäre, die erforderlichen Sachverhaltsergänzungen selber vorzunehmen, so dass über das Feststellungsbegehren entschieden werden könnte.
Demnach ergibt sich, dass die Beschwerdeführerin insoweit kein rechtsgenügliches Begehren gestellt hat und demzufolge auf den Beschwerdeantrag Ziffer 2 und das zu seiner Begründung vorgebrachte nicht eingetreten werden kann.
1.2 Davon abgesehen sind die Sachurteilsvoraussetzungen der Beschwerde erfüllt und geben zu keinen Bemerkungen Anlass. Namentlich richtet sich die vorliegende Beschwerde gegen einen Endentscheid (Art. 90 BGG) in einer Zivilsache (Art. 72 Abs. 1 BGG), der von einem oberen kantonalen Gericht erging, das als Fachgericht für handelsrechtliche Streitigkeiten und einzige kantonale Instanz eingesetzt ist (Art. 75 Abs. 2 lit. b BGG), und gegen den die Beschwerde in Zivilsachen offen steht. Unter Vorbehalt zulässiger Beschwerdegründe (Art. 95 ff. BGG) und einer rechtsgenüglichen Begründung (Art. 42 Abs. 2 und Art. 106 Abs. 2 BGG) ist somit auf die verbleibenden Beschwerdeanträge einzutreten.
2. Die Beschwerde ist hinreichend zu begründen, andernfalls wird darauf nicht eingetreten. In der Beschwerdeschrift ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt (Art. 42 Abs. 2 BGG). Es ist unerlässlich, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Verletzung von Bundesrecht liegt. Der Beschwerdeführer soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die er im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit seiner Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (BGE 134 II 244 E. 2.1 S. 245 f.; 133 IV 286 E. 1.4 S. 287; 134 V 53 E. 3.3 ). Die Verletzung von Grundrechten und von kantonalem und interkantonalem Recht kann das Bundesgericht nur insofern prüfen, als eine solche Rüge in der Beschwerde präzise vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG; BGE 134 II 244 E. 2.2; 133 III 439 E. 3.2).
Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (BGE 133 II 249 E. 1.2.2). Der Beschwerdeführer, der die Sachverhaltsfeststellungen der Vorinstanz anfechten will, kann sich nicht damit begnügen, den bestrittenen Feststellungen eigene tatsächliche Behauptungen gegenüberzustellen oder darzulegen, wie die Beweise seiner Ansicht nach zu würdigen gewesen wären. Vielmehr hat er klar und substanziiert aufzuzeigen, inwiefern die gerügten Feststellungen bzw. die Unterlassung von Feststellungen offensichtlich unrichtig sind oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruhen (vgl. BGE 133 II 249 E. 1.4.3; 133 III 350 E. 1.3, 393 E. 7.1, 462 E. 2.4). Soweit der Beschwerdeführer den Sachverhalt ergänzen will, hat er zudem mit Aktenhinweisen darzulegen, dass er entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozessrechtskonform eingebracht hat (Urteile 4A_214/2008 vom 9. Juli 2008 E. 1.2, nicht publ. in: BGE 134 III 570; 4A_526/2008 vom 21. Januar 2009 E. 3.2).
Die vorliegende Beschwerde vermag diesen Anforderungen in weiten Teilen nicht zu genügen, wie in den nachfolgenden Erwägungen aufzuzeigen ist.
3. Die Vorinstanz kam zum Schluss, die Kündigung vom 9. Dezember 2004 mit sofortiger Wirkung sei unzulässig gewesen.
3.1 Sie qualifizierte die Zusammenarbeitsvereinbarung als Dauerschuldverhältnis, bei dem die Interessenlage der Parteien mit derjenigen beim Agenturvertrag vergleichbar sei. Insofern liege kein blosser Auftrag im Sinne der Art. 394 ff. OR vor, weshalb die Regeln des Art. 404 OR auf die Beendigung des Vertrags nicht anwendbar seien. Insoweit bestreitet die Beschwerdeführerin die vorinstanzliche Beurteilung nicht.
3.2 Ebenfalls und zu Recht ist unbestritten, dass es einem allgemeinen Grundsatz entspricht, dass Dauerschuldverhältnisse aus wichtigen Gründen, welche die Vertragserfüllung unzumutbar machen, vorzeitig beendet werden dürfen (BGE 128 III 428 E. 3 S. 429 f.; 122 III 262 E. 2a/aa S. 265 f.). Ein wichtiger Grund zur Auflösung eines Dauerschuldverhältnisses liegt nach der Rechtsprechung vor, wenn das Gebundensein an den Vertrag für die Partei wegen veränderter Umstände ganz allgemein unzumutbar geworden ist, also nicht nur aus wirtschaftlichen, sondern auch unter anderen die Persönlichkeit berührenden Gesichtspunkten (BGE 128 III 428 E. 3c S. 432).
Ob im Einzelfall ein wichtiger Grund vorliegt, entscheidet das Gericht nach seinem Ermessen (Art. 4 ZGB). Es geht dabei um eine Billigkeitsentscheidung, die auf objektiver Interessenabwägung unter Beachtung der Umstände des beurteilten Falles beruht (BGE 128 III 428 E. 4 S. 432 mit Hinweisen). Ermessensentscheide dieser Art überprüft das Bundesgericht an sich frei; es übt dabei aber Zurückhaltung und greift nur ein, wenn die kantonale Instanz von dem ihr zustehenden Ermessen einen falschen Gebrauch gemacht hat, das heisst wenn sie grundlos von in Lehre und Rechtsprechung anerkannten Grundsätzen abgegangen ist, wenn sie Gesichtspunkte berücksichtigt hat, die keine Rolle hätten spielen dürfen, oder wenn sie umgekehrt rechtserhebliche Umstände ausser Acht gelassen hat. Aufzuheben und zu korrigieren sind ausserdem Ermessensentscheide, die sich als im Ergebnis offensichtlich unbillig, als in stossender Weise ungerecht erweisen (BGE 135 III 121 E. 2 S. 123 f.; 133 III 201 E. 5.4 S. 211; 128 III 428 E. 4 S. 432, je mit Hinweisen).
Im vorliegenden Fall besteht kein Anlass, in den Entscheid der Vorinstanz einzugreifen:
4. Nach den vorinstanzlichen Feststellungen berief sich die Beschwerdeführerin als wichtiger Grund für die fristlose Vertragsauflösung auf ein vertragswidriges Verhalten der Beschwerdegegnerin, das nach Auffassung der Beschwerdeführerin namentlich darin besteht, dass der unbeschränkt haftende Gesellschafter der Beschwerdegegnerin, Y._, von der Z._ GmbH, einer im November 2004 gegründeten Konkurrenzunternehmung der Beschwerdeführerin, in einem Schreiben vom 1. Dezember 2004, das auch an Kunden der Beschwerdeführerin versandt wurde, als freier Partner aufgeführt wurde. Nach Auffassung der Vorinstanz lässt sich aus den Ziffern 3 und 4 der Zusammenarbeitsvereinbarung nicht ableiten, dass dieses Verhalten vertragswidrig wäre, denn in den entsprechenden Bestimmungen fänden sich keine Verbote an die Beschwerdegegnerin. Es sei sodann nicht ersichtlich und werde von der Beschwerdeführerin nicht dargetan, inwiefern die Nennung von Y._ als freien Partner im Schreiben der Z._ GmbH die Beschwerdeführerin im Markt behindert hätte. Zudem habe die Beschwerdeführerin nicht detailliert dargelegt, wann die Beschwerdegegnerin welche Kunden der Beschwerdeführerin auf welche Weise abgeworben haben sollte. Ob überhaupt ein vertragsverletzendes Verhalten der Beschwerdegegnerin vorgelegen habe, was angesichts des sachlich eingeschränkten Konkurrenzverbots der Ziffer 7 Abs. 2 Zusammenarbeitsvereinbarung nicht ohne weiteres zu bejahen sei, müsse damit mangels genügender Substanziierung des anspruchsbegründenden Sachverhalts offen bleiben. Selbst wenn eine Vertragsverletzung zu erkennen wäre, hätte diese - so die Vorinstanz weiter - jedenfalls nicht die Intensität gehabt, dass sie die Fortsetzung der Vertragsbeziehung für die Beschwerdeführerin als unzumutbar hätte erscheinen lassen, ohne die Beschwerdegegnerin im Sinne von Ziffer 8.2 lit. a Zusammenarbeitsvereinbarung aufzufordern, innert Frist den vertragsgemässen Zustand wieder herzustellen.
4.1 Die Beschwerdeführerin wendet sich gegen die vorinstanzliche Auffassung, dass es ihr jedenfalls zumutbar gewesen wäre, das nach ihrer Auffassung vertragsverletzende Verhalten zunächst abzumahnen, da dieses jedenfalls nicht die Intensität gehabt hätte, dass ihr die Fortsetzung der Vertragsbeziehung während der Frist zur Beseitigung des vertragswidrigen Zustands nicht zumutbar gewesen wäre.
4.1.1 Die Parteien vereinbarten in Ziffer 8.2 der Zusammenarbeitsvereinbarung, dass das Vertragsverhältnis aus wichtigen Gründen, die eine Fortsetzung der vertraglichen Beziehungen bis zu seiner ordentlichen Beendigung völlig unzumutbar machen, ohne Einhaltung einer Kündigungsfrist aufgelöst werden kann (Ziff. 8.2 lit. b). Im Falle eines Vertragsbruchs ist allerdings der vertragsverletzenden Partei durch die andere Partei vorgängig der Auflösung mit sofortiger Wirkung schriftlich eine zweimonatige Nachfrist mit der Aufforderung, ihren Pflichten nachzukommen, anzusetzen, es sei denn, dass eine Beseitigung des vertragswidrigen Zustands nicht möglich sei (Ziff. 8.2 lit. a in Verbindung Ziff. 8.2 lit. b letzter Satz).
Die Vorinstanz prüfte, ob die in Ziffer 8.2 enthaltenen Bestimmungen zur vorzeitigen Auflösung des Vertrages gültig seien oder ob in Dauerschuldverhältnissen bei Vorliegen eines wichtigen Grundes grundsätzlich ein zwingendes Recht auf fristlose Auflösung des Vertrages bestehe. Sie führte in Übereinstimmung mit der vorstehend (Erwägung 3.2) dargestellten Rechtsprechung sinngemäss aus, die Möglichkeit zu einer vorzeitigen Auflösung des Vertrages aus wichtigem Grund, entspreche einem allgemeinen Prinzip, das grundsätzlich für alle Dauerschuldverträge gelte; es müsse einer Partei möglich sein, sich vom Vertrag zu lösen, wenn ihr nicht mehr zugemutet werden könne, den Endtermin eines befristeten oder den Ablauf der Kündigungsfrist eines unbefristeten Dauerschuldverhältnisses abzuwarten. Den Parteien stehe daher ein Recht zur fristlosen Kündigung auch dann zu, wenn sie im Vertrag etwas Abweichendes vereinbart hätten.
Weiter führte die Vorinstanz aus, es müssten an die fristlose Kündigung ohne Mahnung bzw. an die Qualität eines wichtigen Grundes noch höhere Anforderungen gestellt werden, als sie ohnehin schon für dessen Annahme gelten würden, wenn die Parteien die fristlose Kündigung wie vorliegend grundsätzlich mit einer Mahnobliegenheit regelten. Die Beschwerdeführerin habe die Zusammenarbeitsvereinbarung mit sofortiger Wirkung wegen vertragswidrigem Verhalten der Beschwerdegegnerin gekündigt, ohne diese vorher im Sinne von Ziffer 8.2 abgemahnt und zu vertragskonformem Verhalten aufgefordert zu haben. Es sei daher zu prüfen, ob im genannten Sinne ein sehr schwerwiegender Grund vorgelegen habe.
4.1.2 Die Beschwerdeführerin rügt, die Vorinstanz habe Bundesrecht verletzt oder die Zusammenarbeitsvereinbarung falsch interpretiert, indem sie dafür gehalten habe, die Beschwerdeführerin wäre verpflichtet gewesen, die Beschwerdegegnerin zunächst im Sinne von Ziffer 8.2 des Vertrags abzumahnen. Sollte der Schlusssatz von Ziffer 8.2 lit. b tatsächlich so verstanden werden, dass er den Parteien die fristlose Kündigung aus wichtigen Gründen durch eine Mahnobliegenheit erschweren wollte, so würde dies der Rechtsprechung in BGE 128 III 428 widersprechen. Danach könnten Dauerschuldverhältnisse unabhängig vom Vertragstext immer dann fristlos gekündigt werden, wenn wichtige Gründe der einen Partei die Fortsetzung der Zusammenarbeit unzumutbar machten, wobei diese nicht einmal in einer Vertragsverletzung begründet sein müssten.
Die Rüge geht fehl. Nach den verbindlichen vorinstanzlichen Feststellungen sprach die Beschwerdeführerin die Kündigung zwar mit sofortiger Wirkung wegen vertragswidrigem Verhalten der Beschwerdegegnerin aus. Die Vorinstanz vertritt nach dem Ausgeführten aber nicht die Ansicht, die Beschwerdeführerin hätte die Beschwerdegegnerin zuerst abmahnen müssen, bevor sie aus diesem Grund eine fristlose Kündigung der Zusammenarbeitsvereinbarung aussprach. Sie hielt lediglich dafür, dass an das Vorliegen eines wichtigen Grundes für eine fristlose Kündigung ohne Mahnung besonders hohe Anforderungen zu stellen seien, wenn die Parteien die fristlose Kündigung wie vorliegend grundsätzlich mit einer Mahnobliegenheit regelten. Die Beschwerdeführerin macht nicht geltend, die Vorinstanz habe damit allgemein zu strenge, bundesrechtswidrige Anforderungen an das Vorliegen eines wichtigen Grundes gestellt, oder die Prüfung, ob im konkreten Fall ein wichtiger Grund für die fristlose Kündigung gegeben sei, nach einem zu strengen Massstab vorgenommen. Dass dem so wäre, ist denn auch nicht ersichtlich. Dafür, ob ein wichtiger Grund vorliegt, ist massgeblich, ob der einen Vertragspartei die Weiterführung des Vertragsverhältnisses bis zur Möglichkeit einer ordentlichen oder auch einer im Vertrag vorgesehenen ausserordentlichen Beendigung unzumutbar ist. Mithin ist es zutreffend, dass die Vorinstanz bei der Prüfung, ob ein wichtiger Grund vorliege, berücksichtigte, dass nach der Vereinbarung eine Möglichkeit zur vorzeitigen Beendigung nach einer Mahnung zu vertragskonformem Verhalten bestand (vgl. dazu Urteil 4C.329/1998 vom 23. Dezember 1998 E. 2a, in: Pra 1999 Nr. 73 S. 400, JAR 1999 S. 271 ff.; STREIFF/VON KAENEL, Arbeitsvertrag, Praxiskommentar, 6. Aufl., 2006, N. 16 zu Art. 337 OR). Wenn die Vorinstanz (nachdem sie offen gelassen hatte ob eine Vertragsverletzung vorliegt) erwog, die in Frage stehenden Handlungen der Beschwerdegegnerin bildeten, würde der Auffassung der Beschwerdeführerin, dass diese den Vertrag verletzten, gefolgt, jedenfalls keinen hinreichend wichtigen Grund für eine sofortige Vertragsauflösung ohne Einhaltung des bei Vertragsverletzungen vereinbarten Vorgehens, verletzte sie kein Bundesrecht.
4.1.3 Die Beschwerdeführerin macht allerdings sinngemäss geltend, die Möglichkeit einer vorzeitigen Vertragsbeendigung nach Abmahnung hätte von der Vorinstanz auch nicht berücksichtigt werden dürfen, weil eine Weiterführung des Vertragsverhältnisses während der Frist zur Wiederherstellung des vertragsmässigen Zustands für die Beschwerdegegnerin äussert vorteilhaft (und mithin für die Beschwerdeführerin nicht zumutbar) gewesen wäre und die Beschwerdeführerin bei Ablauf der Frist nicht hätte wissen können, wie und ob sich die Beschwerdegegnerin von ihrem Abwerbeversuch distanziert habe. Damit stützt sie sich indessen auf tatsächliche Elemente, die im angefochtenen Entscheid keine Stütze finden, ohne eine Sachverhaltsrüge zu erheben, die dem Bundesgericht gegebenenfalls eine Ergänzung der vorinstanzlichen Feststellungen erlauben würde. Auf die damit begründete Kritik am vorinstanzlichen Entscheid kann daher nicht eingetreten werden.
4.1.4 Die Beschwerdeführerin beanstandet die vorinstanzliche Erwägung, wonach es ihr zumutbar gewesen wäre, die Beschwerdegegnerin aufzufordern den vertragsgemässen Zustand wieder herzustellen, falls ihrer Auffassung gefolgt würde, dass das Verhalten der Beschwerdegegnerin eine Vertragsverletzung darstelle, mit dem weiteren Argument, dass die Vertragsverletzung vorliegend gar nicht hätte beseitigt werden können. Der unbeschränkt haftende Gesellschafter der Beschwerdegegnerin habe sich bereit erklärt, als freier Mitarbeiter der Z._ GmbH tätig zu sein, und dies in einem an Kunden der Beschwerdeführerin gerichteten Schreiben auch publik machen lassen. Die damit gewollte Werbewirkung lasse sich nicht glaubwürdig beseitigen, ebenso wenig wie der Vertrauensbruch. Damit ist die Beschwerdeführerin nicht zu hören. Sie übergeht dabei die vorinstanzliche Feststellung, wonach sie im vorinstanzlichen Verfahren nicht behauptet habe, dass die Beseitigung des nach ihrer Ansicht vertragswidrigen Zustands nicht möglich sei. Dass diese Feststellung offensichtlich unzutreffend sei, macht sie nicht geltend, weshalb sie mit einer diesbezüglichen Sachverhaltsergänzung von vornherein ausgeschlossen ist; sie kann ihre Behauptungen, die sie im vorinstanzlichen Verfahren aufzustellen versäumt hat, nicht vor Bundesgericht einbringen.
4.2 Die Beschwerdeführerin wirft der Vorinstanz vor, bei der Verneinung eines wichtigen Grundes für die sofortige Vertragsauflösung nicht alle behaupteten Umstände des vorliegenden Falles gewürdigt zu haben. Die entsprechenden Vorbringen genügen allerdings den vorstehend (Erwägung 2) dargestellten Anforderungen an die Beschwerdebegründung durchwegs nicht, so dass sie damit nicht gehört werden kann. So stellt die Beschwerdeführerin den dargestellten Erwägungen der Vorinstanz bloss ihre eigene Sicht der Dinge gegenüber, ohne sich rechtsgenüglich mit der vorinstanzlichen Begründung auseinanderzusetzen. Dabei weicht sie in vielfacher Hinsicht vom Sachverhalt ab, wie er im angefochtenen Urteil festgestellt ist, ohne dazu jedoch rechtsgenügend begründete Sachverhaltsrügen zu erheben, in denen sie darlegen würde, inwiefern die Vorinstanz Bundesrecht verletzt haben soll, indem sie zu den vorliegend angerufenen Umständen keine tatsächlichen Feststellungen traf und namentlich feststellte, eine Vertragsverletzung sei nicht hinreichend substanziiert behauptet worden. So insbesondere wenn die Beschwerdeführerin betont, dass die Z._ GmbH von zwei treulosen ehemaligen Angestellten von ihr mit der Absicht gegründet worden sei, ihr Kunden abzuwerben, wenn sich die Beschwerdeführerin auf Umstände beruft, die zum Beginn der Zusammenarbeit zwischen den Parteien geführt haben sollen oder wenn die Beschwerdeführerin sinngemäss geltend macht, mit der Zusammenarbeitsvereinbarung habe die Beschwerdegegnerin deren Zweck entsprechend ihren Kundenstamm dauerhaft gegen eine befristete Courtagenbeteiligung auf die Beschwerdeführerin übertragen bzw. vermittelt, und Y._ versuche nun, da seine Anteilsberechtigung für die meisten Kunden abgelaufen sei bzw. im Jahre 2005 ablaufen würde, mit seinen neuen Geschäftspartnern, der Beschwerdeführerin die für teures Geld "gekauften" Kunden wieder abzuwerben, was die Existenz der Beschwerdeführerin in dramatischer Weise gefährde.
Es ist der Beschwerdeführerin in diesem Zusammenhang zwar zuzugestehen, dass es für die Beantwortung der Frage, ob im Zeitpunkt, als die fristlose Vertragsauflösung ausgesprochen wurde, wichtige Gründe vorlagen, wesentlich sein kann, dass ein Versuch der Abwerbung von Kunden stattgefunden hat, nicht dagegen, ob in der Folge tatsächlich Kunden erfolgreich abgeworben wurden. Insoweit kritisiert sie die Vorinstanz zu Recht, soweit diese der Beschwerdeführerin vorwirft, nicht substanziiert zu haben, wann welche Kunden auf welche Weise abgeworben worden seien. Dies ändert indessen nichts daran, dass die Beschwerdeführerin nicht darzutun vermag, dass sie im vorinstanzlichen Verfahren prozessrechtskonform Umstände substanziiert hätte, aus denen die Vorinstanz auf das Vorliegen einer Vertragsverletzung schliessen musste, mit der die Beschwerdeführerin die fristlose Vertragsauflösung rechtfertigen wollte. Unter diesen Umständen erscheint es auch nicht als entscheidwesentlich, dass die Vorinstanz in diesem Zusammenhang erwähnte, dass der Vertrag in Ziffer 7 Abs. 2 bloss ein sachlich eingeschränktes Konkurrenzverbot vorsieht. Es erübrigt sich daher auf die Vorbringen der Beschwerdeführerin einzugehen, wonach Ziffer 7 Abs. 2 der Zusammenarbeitsvereinbarung "nicht praktikabel" sei und die entsprechende Erwägung der Vorinstanz nicht verständlich sei, wobei es insoweit ohnehin an einer hinreichenden Darlegung mangelt, inwieweit die Vorinstanz Bundesrecht verletzt haben soll, und sich die Beschwerdeführerin auch hier auf Sachverhaltselemente stützt, die im angefochtenen Entscheid keine Stütze finden.
5. Die Vorinstanz entschied damit ohne Bundesrechtsverletzung, dass die Beschwerdeführerin die Zusammenarbeitsvereinbarung erst per 31. Dezember 2005 hätte kündigen dürfen. Sie sprach der Beschwerdegegnerin in Ziffer 1 ihres Urteilsdispositivs Schadenersatz für das zu, was dieser bei einer Vertragsauflösung auf diesen Zeitpunkt hin zustehe. Die Beschwerdeführerin beanstandet den für diesen Fall zugesprochenen Betrag in quantitativer Hinsicht nicht, sondern stellt lediglich eine Berechnung der geschuldeten Courtagenanteile für den Fall an, dass seiner Ansicht gefolgt würde, der Vertrag sei zu Recht fristlos aufgelöst worden.
6. Die Vorinstanz sprach der Beschwerdegegnerin Verzugszinsen zu 5 % auf verschiedenen Beträgen ab verschiedenen Verfalltagen zwischen dem 1. Oktober 2001 und dem 1. Januar 2006 zu. Sie kam aufgrund der vertraglichen Abreden zwischen den Parteien zum Schluss, es sei für die verschiedenen Beträge jeweils ein entsprechender Verfalltag verabredet worden, weshalb eine Mahnung für eine Inverzugsetzung entbehrlich sei. Die Beschwerdeführerin bestreitet, dass die Parteien eine Verfalltagsabrede getroffen hätten.
6.1 Der Schuldner einer Geldschuld hat, soweit nichts anderes vereinbart worden ist, von Gesetzes wegen Verzugszins zu zahlen, sobald er mit der Zahlung der Schuld in Verzug gerät (Art. 104 Abs. 1 OR; vgl. dazu BGE 129 III 535 E. 3.1). Ist eine Verbindlichkeit fällig, so wird der Schuldner durch Mahnung in Verzug gesetzt (Art. 102 Abs. 1 OR). Wurde ein bestimmter Verfalltag verabredet, kommt der Schuldner nach Art. 102 Abs. 2 OR schon mit Ablauf dieses Tages in Verzug.
Die Vorinstanz stellte fest, nach Ziffer 6.4 der Zusammenarbeitsvereinbarung und nach den Ausführungen der Parteien im Prozess seien von der Beschwerdeführerin bestimmte Courtagen monatlich auf den letzten Tag des Monats und bestimmte Courtagen vierteljährlich auf das Quartalsende abzurechnen gewesen. Daraus schloss sie, dass die Verfalltage der vierteljährlich abzurechnenden Courtagen der 31. März, der 30. Juni, der 30. September und der 31. Dezember seien und (implizit) dass der Verfalltag der monatlich abzurechnenden Courtagen der jeweils letzte Tag des betreffenden Monats sei.
6.2 Dem kann nicht gefolgt werden. Ein Verfalltagsgeschäft liegt vor, wenn der Zeitpunkt, zu dem der Schuldner erfüllen muss, kalendermässig bestimmt oder zumindest bestimmbar ist (WEBER, Berner Kommentar, N. 110 zu Art. 102 OR, mit zahlreichen Hinweisen); eine bloss ungefähre Festlegung des Erfüllungszeitpunktes reicht nicht aus (dazu WEBER, N. 114 ff. zu Art. 102 OR, mit umfangreicher Kasuistik). Eine undeutliche Verfalltagsbestimmung ist im Zweifel als Vereinbarung eines Mahngeschäfts auszulegen (WEBER, N. 113 zu Art. 102 OR; Urteil 5C.57/2001 vom 14. Mai 2001 E. 2b).
Nach den vorinstanzlichen Feststellungen, beziehen sich die Ziffer 6.4 der Zusammenarbeitsvereinbarung sowie die Ausführungen der Parteien im Verfahren nur auf die Perioden und die Termine auf welche die Abrechnung zu erfolgen hatte. Dass die Parteien einen bestimmten Zeitpunkt für die Erfüllung der nach den Abrechnungen geschuldeten Leistungen vereinbart hätten, stellte die Vorinstanz nicht fest. Wenn die Beschwerdegegnerin vorbringt, es sei in Ziffer 6.4 der Vereinbarung klar vereinbart worden, dass die Zahlungen gleichzeitig, im Zeitpunkt zu erfolgen hatten, in dem die Abrechnungen vorzulegen waren, ohne eine Sachverhaltsrüge nach Art. 97 Abs. 1 BGG zu substanziieren, kann sie damit nicht gehört werden. Die Annahme der Vorinstanz, die Parteien hätten für die jeweiligen Zahlungen einen Verfalltag vereinbart, entbehrt damit der tatsächlichen Grundlage, weshalb von einem Mahngeschäft auszugehen ist.
6.3 Die Mahnung ist eine an den Schuldner gerichtete Erklärung des Gläubigers, die zum Ausdruck bringt, dass er die Leistung ohne Säumnis verlangt. Mit der Mahnung muss die zu erbringende Leistung so genau bezeichnet werden, dass der Schuldner erkennt, was der Gläubiger fordern will. Geht es um eine Geldforderung, ist deren Höhe in der Regel zu beziffern. Auf eine Bezifferung in der Mahnung selbst kann jedoch zum Beispiel verzichtet werden, wenn damit auf eine früher zugestellte, den Geldbetrag enthaltende Rechnung verwiesen wird oder wenn eine Bezifferung im Zeitpunkt der Fälligkeit der Forderung nicht möglich ist, weil deren genaue Höhe noch nicht feststeht (BGE 129 III 535 E. 3.2.2 S. 541 f. mit Hinweisen). Die Erhebung einer Leistungsklage gilt als Mahnung (BGE 56 II 212 E. 3 S. 220; WIEGAND, Basler Kommentar, N. 9 zu Art. 102 OR; FURRER/WEY, in: Amstutz et al. [Hrsg.], Handkommentar zum Schweizer Privatrecht, 2007, N. 25 zu Art. 102 OR).
Den vorinstanzlichen Feststellungen ist nicht zu entnehmen, dass die Beschwerdegegnerin die Beschwerdeführerin vor Klageanhebung gemahnt hätte. Mit Klage vom 27. Mai 2005 forderte sie von der Beschwerdeführerin die Bezahlung von Fr. 150'000.-- nebst Zins. Dabei beantragte sie zusätzlich, die Beschwerdeführerin sei zu verpflichten, die Abrechnungen zwischen den Parteien von einem Wirtschafts- oder Buchprüfer überprüfen zu lassen, und sie behielt sich vor, den geforderten Betrag aufgrund der Ergebnisse dieser Prüfung zu erhöhen. Damit hat sie klar ausgedrückt, dass sie bei Klageanhebung den aus behaupteten Abrechnungsdifferenzen resultierenden Betrag, dessen Höhe aber noch nicht feststand und daher noch nicht beziffert werden konnte, auch soweit forderte, als dadurch ihre Forderung die bereits bezifferten Fr. 150'000.-- übersteigt. Das ursprünglich bei Klageanhebung gestellte Rechtsbegehren gilt damit auch als Mahnung für den von der Vorinstanz zugesprochenen Betrag, der die ursprünglich eingeklagte Summe von Fr. 150'000.-- übersteigt. Mithin geriet die Beschwerdeführerin hinsichtlich geschuldeter und fälliger Courtagenanteile (offene Abrechnungen) sowie hinsichtlich Abrechnungsdifferenzen über solche am 27. Mai 2005 in Verzug, weshalb insoweit ab diesem Zeitpunkt Verzugszinsen geschuldet sind. Konkret ist auf allen entsprechenden Beträgen ab diesem Datum Verzugszins geschuldet, auf denen die Vorinstanz Verzugszinsen zu Unrecht schon ab früheren Daten zusprach (Fr. 4'398.75, Fr. 280.90, Fr. 1499.15, Fr. 2500.10, Fr. 12'693.25, Fr. 1'495.20, Fr. 8'625.40, Fr. 1'447.65, Fr. 21'496.25, Fr. 115'268.50; total Fr. 169'705.15). Für den zugesprochenen Betrag von Fr. 46'911.20 hat die Vorinstanz Verzugszins ab dem 1. Januar 2006 zuerkannt, da er zur Zeit der Klageanhebung noch nicht fällig war. Da das Urteil insoweit von den Parteien nicht angefochten wird, hat es dabei sein Bewenden.
7. Zusammenfassend ist die Beschwerde teilweise gutzuheissen, soweit sie den Entscheid hinsichtlich der Verzugszinsen beschlägt. Im Mehrumfang ist sie abzuweisen, soweit darauf eingetreten werden kann. Das angefochtene Urteil ist in Ziffer 1 aufzuheben und durch die folgende Fassung zu ersetzen:
"In teilweiser Gutheissung von Rechtsbegehren Ziffer 1 der geänderten Klage wird die Beschwerdeführerin verpflichtet, der Beschwerdegegnerin Fr. 239'212.35 zuzüglich Zins zu je 5 % auf Fr. 169'705.15 seit 27. Mai 2005 und auf zusätzlichen Fr. 46'911.20 seit 1. Januar 2006 zu bezahlen."
Die Beschwerdeführerin unterliegt im bundesgerichtlichen Verfahren grösstenteils. Dementsprechend wird sie kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG) und erübrigt sich eine Rückweisung der Sache an die Vorinstanz zur Neuverlegung der Kosten des kantonalen Verfahrens (Art. 67 und 107 Abs. 2 BGG; vgl. BGE 114 II 144 E. 4).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird teilweise gutgeheissen und Ziffer 1 des angefochtenen Urteils des Handelsgerichts des Kantons Aargau vom 3. Dezember 2009 aufgehoben und durch die folgende Fassung ersetzt:
"In teilweiser Gutheissung von Rechtsbegehren Ziffer 1 der geänderten Klage wird die Beklagte verpflichtet, der Klägerin Fr. 239'212.35 zuzüglich Zins zu je 5 % auf Fr. 169'705.15 seit 27. Mai 2005 und auf zusätzlichen Fr. 46'911.20 seit 1. Januar 2006 zu bezahlen."
Im Mehrumfang wird die Beschwerde abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 10'000.-- werden der Beschwerdeführerin auferlegt.
3. Die Beschwerdeführerin hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 12'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Handelsgericht des Kantons Aargau, 1. Kammer, schriftlich mitgeteilt.
Lausanne, 9. April 2010
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Der Gerichtsschreiber:
Klett Widmer