Sachverhalt:
A. Die D._ AG, B.C._ AG (Beschwerdegegnerin) belangte A._ (Beschwerdeführer) am 22. Mai 2002 vor dem Bezirksgericht Schwyz auf Bezahlung eines vom Gericht festzusetzenden Betrags, einstweilen beziffert mit Fr. 614'400.-- nebst Zins. Zugleich stellte sie verschiedene Begehren auf Auskunftserteilung und Rechnungslegung. Zur Begründung führte sie aus, der Beschwerdeführer habe sich persönlich verpflichtet, ihre 3'840 Aktien der E._ AG in seinem Namen, aber für ihre Rechnung vorrangig zu verkaufen, d.h. bevor Aktien anderer Inhaber platziert oder neue Aktien liberiert würden. Dieser Pflicht sei er nicht nachgekommen.
Der Bezirksgerichtspräsident Schwyz beschränkte mit Verfügung vom 10. Februar 2003 das Verfahren auf die Frage der Passivlegitimation und die von der Beschwerdegegnerin geltend gemachten Hilfsansprüche. Mit Vor- und Teilurteil vom 14. Mai 2003 bejahte das Bezirksgericht Schwyz die Passivlegitimation des Beschwerdeführers und hiess die von der Beschwerdegegnerin geltend gemachten Hilfsansprüche unter Androhung einer Ordnungsbusse wie folgt teilweise gut:
a) Der Beklagte [Beschwerdeführer] ist verpflichtet, der Klägerin [Beschwerdegegnerin] innert 20 Tagen seit Rechtskraft des vorliegenden Vor- und Teilurteils umfassend Rechenschaft abzulegen über alle wesentlichen Vorgänge des Kommissionsvertragsverhältnisses mit der Klägerin [Beschwerdegegnerin], so insbesondere über den gesamten Ablauf und die Ergebnisse seiner Tätigkeiten.
b) Der Beklagte [Beschwerdeführer] ist verpflichtet, der Klägerin [Beschwerdegegnerin] innert 20 Tagen seit Rechtskraft des vorliegenden Vor- und Teilurteils darüber Auskunft zu geben, wie viele Aktien der F._ AG (vormals E._ AG) er und die G._ AG in seinem Auftrag seit 18.10.2000 wann und an wen veräussert haben, respektive haben veräussern lassen, und wie hoch die entsprechenden Veräusserungserlöse waren.
c) Der Beklagte [Beschwerdeführer] ist verpflichtet, der Klägerin [Beschwerdegegnerin] innert 20 Tagen seit Rechtskraft des vorliegenden Vor- und Teilurteils detailliert darüber Auskunft zu geben, wie viele Aktien der F._ AG (vormals E._ AG) in seinem Auftrag seit 18.10.2000 wann und von wem neu gezeichnet wurden, wie diese liberiert wurden und welche Vermögenswerte bei diesen Transaktionen wem zuflossen.
Die gegen dieses Vor- und Teilurteil erklärte kantonale Berufung des Beschwerdeführers wurde vom Kantonsgericht mit Urteil vom 10. Mai 2005 abgewiesen.
Die Beschwerdegegnerin teilte dem Bezirksgerichtspräsidenten Schwyz am 31. Oktober 2005 mit, dass es ihr nicht möglich sei, die Forderung wie verlangt zu beziffern, da der Beschwerdeführer seine Pflichten zur Auskunftserteilung nicht erfüllt habe. Anlässlich der Hauptverhandlung stellte sie das Begehren, den Beschwerdeführer zu verpflichten, ihr Fr. 614'400.--, eventuell Fr. 537'600.--, subeventuell Fr. 483'840.--, je zuzüglich Zins zu bezahlen. Mit Urteil vom 25. Januar 2006 hiess das Bezirksgericht Schwyz die Klage insoweit gut, als es den Beschwerdeführer verurteilte, der Beschwerdegegnerin den Betrag von Fr. 483'840.-- nebst Zins zu bezahlen.
Gegen dieses Urteil gelangte der Beschwerdeführer mit kantonaler Berufung an das Kantonsgericht Schwyz mit dem Antrag, das angefochtene Urteil aufzuheben und die Klage vollumfänglich abzuweisen. Das Kantonsgericht wies am 27. November 2007 die Berufung ab und bestätigte das Urteil des Bezirksgerichts vom 25. Januar 2006. Es kam zum Schluss, dass sich der Beschwerdeführer zur vorrangigen Veräusserung der Aktien der Beschwerdegegnerin verpflichtet habe und er diese Aktien bei pflichtgemässer Erfüllung seines Auftrags zum Stückpreis von Fr. 140.-- hätte verkaufen können.
B. Der Beschwerdeführer beantragt mit Beschwerde in Zivilsachen und subsidiärer Verfassungsbeschwerde, das Urteil des Kantonsgerichts vom 27. November 2007 aufzuheben und die Klage abzuweisen.
Die Beschwerdegegnerin und die Vorinstanz schliessen auf Abweisung der Beschwerde, soweit darauf einzutreten sei.
C. Der Beschwerde wurde mit Präsidialverfügung vom 29. April 2008 die aufschiebende Wirkung gewährt.
Erwägungen:
1. Da vorliegend der erforderliche Streitwert von Fr. 30'000.-- (Art. 74 Abs. 1 lit. b BGG) überschritten ist, ist die Beschwerde in Zivilsachen grundsätzlich zulässig. Damit fällt eine subsidiäre Verfassungsbeschwerde ausser Betracht (Art. 113 BGG). Auf die vom Beschwerdeführer ebenfalls erhobene - im Übrigen aber mit keinem Wort begründete - subsidiäre Verfassungsbeschwerde ist daher nicht einzutreten.
2. Der Beschwerdeführer bringt vor, die Vorinstanz habe Art. 8 ZGB verletzt. Insbesondere habe sie "de facto eine Beweislastumkehr" vorgenommen. Die Beschwerdegegnerin habe den Vertragsabschluss, den Inhalt des Vertrags und den sich aus dem Vertrag ergebenden Anspruch zu beweisen.
Diese Rüge beruht auf einem unzutreffenden Verständnis des angefochtenen Urteils und stösst daher ins Leere. Die Frage, ob ein Auftrag zustande gekommen sei und sich der Beschwerdeführer gegenüber der Beschwerdegegnerin verpflichtet habe, ihre Aktien der E._ AG zu verkaufen, hatte die Vorinstanz bereits mit dem inzwischen in Rechtskraft erwachsenen Urteil vom 10. Mai 2005 bejaht. Somit musste darüber im angefochtenen Entscheid nicht mehr Beweis geführt werden. Bezüglich der weiteren Behauptungen der Beschwerdegegnerin zog die Vorinstanz ihre Schlussfolgerungen entgegen den Vorbringen des Beschwerdeführers nicht aufgrund eines herabgesetzten Beweismasses oder einer Beweislastumkehr. Sie führte zwar aus, da der Beschwerdeführer seiner Auskunftspflicht schuldhaft nicht nachgekommen sei, gelange die Beschwerdegegnerin in den Genuss der Beweiserleichterung, insoweit ihre Tatsachenbehauptungen inhaltlich die vom Beschwerdeführer nicht erfüllten Hilfsansprüche betreffen würden. Dies treffe auf die Fragen zu, ob ein Verkauf der Aktien grundsätzlich möglich gewesen wäre und falls ja, wie viele Aktien der Beschwerdeführer zu welchem Preis hätte veräussern können. Diesfalls müsse die Beschwerdegegnerin ihre betreffenden Tatsachenbehauptungen lediglich plausibel machen. Nach der Beweiswürdigung kam die Vorinstanz dann aber zum Schluss, die Beschwerdegegnerin habe nicht nur plausibel dargelegt, sondern im Sinne von Art. 8 ZGB bewiesen, dass der Beschwerdeführer sämtliche 3'840 Aktien zum Stückpreis von Fr. 140.-- hätte veräussern können. Betreffend die Vorrangigkeit des Verkaufs führte die Vorinstanz zudem aus, die Beschwerdegegnerin habe ihre Behauptung, dass sich der Beschwerdeführer verpflichtet habe, die Aktien vorrangig zu verkaufen, zu beweisen und nicht bloss plausibel zu machen, was ihm gelungen sei.
3. Weiter rügt der Beschwerdeführer eine willkürliche, aktenwidrige Beweiswürdigung. Es könne nicht als erstellt gelten, dass er sich verpflichtet habe, die 3'840 Aktien der Beschwerdegegnerin vorrangig und zu einem fixen Preis zu verkaufen.
3.1 Die Verletzung von Grundrechten kann das Bundesgericht nur insofern prüfen, als eine solche Rüge in der Beschwerde präzise vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG; BGE 133 III 439 E. 3.2). Rügt der Beschwerdeführer eine willkürliche Beweiswürdigung, kann er sich nicht damit begnügen, den bestrittenen Feststellungen eigene tatsächliche Behauptungen gegenüberzustellen oder darzulegen, wie die Beweise seiner Ansicht nach zu würdigen gewesen wären. Vielmehr hat er klar und substantiiert aufzuzeigen, inwiefern die gerügten Feststellungen bzw. die Unterlassung von Feststellungen willkürlich sind. Auf eine Kritik an den tatsächlichen Feststellungen der Vorinstanz, die diesen Anforderungen nicht genügt, ist nicht einzutreten (vgl. BGE 133 II 249 E. 1.4.3; 133 III 350 E. 1.3, 393 E. 7.1 S. 398).
Willkür im Sinne von Art. 9 BV liegt nach ständiger Rechtsprechung nicht schon dann vor, wenn eine andere Lösung ebenfalls vertretbar erscheint oder gar vorzuziehen wäre. Das Bundesgericht hebt einen kantonalen Entscheid wegen Willkür nur auf, wenn er offensichtlich unhaltbar ist, zur tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgrundsatz zuwiderläuft. Willkür liegt zudem nur vor, wenn nicht bloss die Begründung eines Entscheids, sondern auch das Ergebnis unhaltbar ist (BGE 132 III 209 E. 2.1; 131 I 57 E. 2 S. 61, 217 E. 2.1). Zu beachten ist, dass dem Sachgericht im Bereich der Beweiswürdigung ein erheblicher Ermessensspielraum zusteht (BGE 120 Ia 31 E. 4b S. 40). Das Bundesgericht greift auf Beschwerde hin nur ein, wenn das Sachgericht sein Ermessen missbraucht, insbesondere offensichtlich unhaltbare Schlüsse zieht, erhebliche Beweise übersieht oder solche willkürlich ausser Acht lässt (vgl. BGE 132 III 209 E. 2.1; 129 I 8 E. 2.1; 120 Ia 31 E. 4b S. 40; 118 Ia 28 E. 1b S. 30).
3.2 Der Beschwerdeführer bringt zur Begründung seiner Rüge lediglich pauschal vor, den Aussagen der Zeugen H._ und I._ sei nichts zu entnehmen, was die Behauptungen der Beschwerdegegnerin stützen würde. Die Zeugenaussagen seien zu "wässrig", um die behauptete Vorrangigkeit des Verkaufs zu beweisen, und dürften zudem nicht isoliert betrachtet werden, sondern seien im gesamten Kontext zu würdigen.
Die Vorinstanz ist nach einer umfassenden Würdigung der Beweise, insbesondere der Aussagen der Zeugen H._, I._ und B._ sowie des Schreibens des Beschwerdeführers an die Beschwerdegegnerin vom 13. Mai 2001, zum Schluss gelangt, dass sich der Beschwerdeführer verpflichtet habe, die entsprechenden Aktien vorrangig und nicht bloss "bestmöglich" zu veräussern. Mit den Aussagen des Zeugen B._ und dem Schreiben vom 13. Mai 2001 hat sich der Beschwerdeführer in seiner Beschwerdeschrift mit keinem Wort auseinandergesetzt, obwohl die Vorinstanz gerade dieses Schreiben als auch den Umstand, dass B._ der vorrangige Verkauf der Aktien ein wichtiges Anliegen gewesen sei, als klare Indizien für eine Vereinbarung, die Aktien vorrangig zu verkaufen, aufgefasst hat. Der Beschwerdeführer zeigt mit seinen Ausführungen zudem nicht detailliert auf und es ist auch nicht ersichtlich, inwiefern die Vorinstanz bei ihrer Beweiswürdigung in Willkür verfallen wäre. Daher erweist sich die Willkürrüge als unbehelflich.
4. 4.1 Der Beschwerdeführer rügt den Schluss der Vorinstanz als falsch, wonach seine Ausführungen zur Unmöglichkeit des Verkaufs der Aktien irrelevant wären. Es liege eine Gehörsverletzung vor (Art. 29 Abs. 2 BV). Die Vorinstanz habe seinen Beweisführungsanspruch verletzt, indem sie die von ihm in diesem Zusammenhang beantragten Zeugen nicht einvernommen und auf die Expertise betreffend die Bewertung der F._ AG und die Chancen der Platzierung der Aktien verzichtet habe.
4.2 Die Vorinstanz erwog, der Beschwerdeführer habe ausführlich begründet, weshalb es ihm nicht möglich gewesen sein solle, die Aktien der Beschwerdegegnerin zu verkaufen. Seine Vorbringen seien alle insoweit irrelevant, als sie insbesondere allgemein die Finanzierung der F._ AG mittels Erhöhung des Aktienkapitals, Neuausgabe von Aktien und Platzierung im Primärmarkt betreffen würden. Dass der Verkauf der Aktien während der Emmissionsfrist für neue Aktien nicht möglich gewesen wäre, könne der Beschwerdeführer nicht beweisen. Es würden nicht einmal Anhaltspunkte dafür vorliegen. Vielmehr habe das Bezirksgericht ausführlich und überzeugend dargelegt, dass das Gegenteil ausgewiesen sei. Die Vorinstanz verwies auf die entsprechenden Erwägungen des Bezirksgerichts, wonach das Schreiben der K._ GmbH an die E._ AG vom 31. Dezember 2000, die mit "Kapitalerhöhung E._ AG" betitelte Liste, das Dokument "Verkaufsbemühungen Aktie E._ AG" und das Schreiben des Beschwerdeführers an die Beschwerdegegnerin vom 13. Mai 2001 klar belegen würden, dass ab Oktober 2000 Aktien der E._ AG gehandelt wurden. Somit sei bewiesen, dass die 3'840 Aktien der Beschwerdegegnerin vorrangig hätten verkauft werden können.
4.3 Entgegen der Ansicht des Beschwerdeführers hat die Vorinstanz nicht erwogen, dass all seine Ausführungen zur Unmöglichkeit des Verkaufs der Aktien irrelevant wären. Sie hat lediglich seine Vorbringen als irrelevant erachtet, insoweit diese allgemein die Finanzierung der F._ AG betreffen würden. Der Beschwerdeführer vermag mit seinen Ausführungen in der Beschwerdeschrift, die sich über weite Strecken in der wortwörtlichen Wiederholung seiner kantonalen Berufung erschöpfen, nicht aufzuzeigen, inwiefern die von der Vorinstanz als irrelevant bezeichneten Vorbringen entscheidrelevant wären. Die Vorinstanz hat das rechtliche Gehör nicht verletzt, indem sie auf die Abnahme der in diesem Zusammenhang von ihm beantragten Beweismittel verzichtete. Denn die Pflicht des Gerichts, die rechtzeitig und formrichtig angebotenen Beweismittel abzunehmen, besteht nur, sofern diese für den Entscheid erhebliche Tatsachen betreffen (vgl. BGE 124 I 241 E. 2; 117 Ia 262 E. 4b S. 268 f.; 106 Ia 161 E. 2b S. 162, je mit Hinweisen).
Die Vorinstanz hat zudem das rechtliche Gehör auch insofern nicht verletzt, als die beantragten Beweise geeignet gewesen wären, die Unmöglichkeit des Verkaufs der Aktien zu beweisen. Denn eine Gehörsverletzung liegt insbesondere dann nicht vor, wenn das Gericht auf die Abnahme beantragter Beweismittel verzichtet, weil es aufgrund der bereits abgenommenen Beweise seine Überzeugung gebildet hat und ohne Willkür in vorweggenommener Beweiswürdigung annehmen kann, dass seine Überzeugung durch weitere Beweiserhebungen nicht geändert werde (BGE 134 I 140 E. 5.3; 131 I 153 E. 3 S. 157; 130 II 425 E. 2.1 S. 428 f.; 124 I 208 E. 4a S. 211, je mit Hinweisen). Die Vorinstanz gelangte aufgrund der bereits abgenommenen Beweise zur Überzeugung, dass ein Verkauf der Aktien möglich gewesen wäre. Es ist nicht ersichtlich und wird vom Beschwerdeführer auch nicht geltend gemacht, dass eine willkürliche antizipierte Beweiswürdigung vorliegen würde. Der Beschwerdeführer dringt demzufolge auch mit dieser Rüge nicht durch.
5. Bei diesem Verfahrensausgang wird der Beschwerdeführer kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Auf die subsidiäre Verfassungsbeschwerde wird nicht eingetreten.
2. Die Beschwerde in Zivilsachen wird abgewiesen, soweit darauf einzutreten ist.
3. Die Gerichtskosten von Fr. 7'500.-- werden dem Beschwerdeführer auferlegt.
4. Der Beschwerdeführer hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 8'500.-- zu entschädigen.
5. Dieses Urteil wird den Parteien und dem Kantonsgericht des Kantons Schwyz, Zivilkammer, schriftlich mitgeteilt.
Lausanne, 23. Juni 2008
Im Namen der I. zivilrechtlichen Abteilung des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Corboz Sommer