Sachverhalt:
A. A._ (Beschwerdeführer) erwarb von B._ (Beschwerdegegner) im Jahre 1999 85 Namenaktien der X._ AG. Gestützt auf eine als "Kaufrechtsvertrag" bezeichnete Vereinbarung vom 30. September 1999 forderte der Beschwerdegegner mit Erklärungen vom 22. April und 6. Juni 2003 die Rückübertragung der Aktien an ihn. Der Beschwerdeführer kam dieser Aufforderung nicht nach.
B. B.a Nachdem die Parteien im Rahmen eines vorsorglichen Massnahmeverfahrens die Hinterlegung der 85 Namenaktien der X._ AG für die Verfahrensdauer beim Gericht vereinbart hatten, erhob der Beschwerdegegner beim Kreisgericht Obertoggenburg-Neutoggenburg Klage gegen den Beschwerdeführer mit dem Begehren, der Beschwerdeführer sei unter Straffolge zu verpflichten, ihm die Aktien zu unbeschränktem Eigentum auszuhändigen, zu zedieren und als Aktionär und Verwaltungsrat der X._ AG die im Hinblick auf den Eintrag des Beschwerdegegners ins Aktienbuch erforderlichen Handlungen vorzunehmen und die erforderlichen Zustimmungen zu erteilen. Der Beschwerdeführer stellte für den Fall, dass er zur Herausgabe der Aktien verpflichtet werden sollte, widerklageweise das Begehren um Rückerstattung des Kaufpreises samt Zinsen sowie um Abgeltung sämtlicher seit Kauf der Aktien bis zur Rückübertragung angefallenen und von ihm beglichenen Steuern.
Mit Entscheid vom 2. Juni 2005 hiess das Kreisgericht Obertoggenburg-Neutoggenburg die Klage gut. Das Eventualbegehren des Beschwerdeführers wies es ab.
B.b Die Berufung des Beschwerdeführers gegen dieses Urteil wies das Kantonsgericht St. Gallen mit Entscheid vom 29. Juni 2006 ab. Gegen diesen Entscheid erhob der Beschwerdeführer sowohl Nichtigkeitsbeschwerde an das Kassationsgericht des Kantons St. Gallen als auch Berufung an das Bundesgericht. Das Kassationsgericht hob den Entscheid des Kantonsgerichts am 26. Januar 2007 auf und wies die Streitsache zur Neubeurteilung im Sinne der Erwägungen an das Kantonsgericht zurück. Mit Beschluss vom 23. April 2007 schrieb das Bundesgericht in der Folge das Berufungsverfahren als gegenstandslos ab.
B.c Nach Rückweisung der Streitsache durch das Kassationsgericht führte das Kantonsgericht ein Beweisverfahren im Zusammenhang mit der Frage der Gültigkeit der drei Verträge vom 30. September 1999 (Aktienkaufvertrag, Kaufrechtsvertrag, Darlehensvertrag) durch. Mit Entscheid vom 17. August 2007 hiess das Kantonsgericht die Klage des Beschwerdegegners erneut gut und verpflichtete den Beschwerdeführer, dem Beschwerdegegner die 85 Namenaktien der X._ AG mit den Nrn. 171 bis 227, 334 bis 353 und 364 bis 371 zu unbelastetem Eigentum zu übertragen und zu übergeben. Ferner verpflichtete es den Beschwerdeführer, als Aktionär und Mitglied des Verwaltungsrats der X._ AG gemäss den Erwägungen sämtliche erforderlichen Handlungen vorzunehmen und sämtliche erforderlichen Zustimmungen zu erteilen, damit der Beschwerdegegner bezüglich der erwähnten Namenaktien wieder ins Aktienbuch der X._ AG eingetragen wird. Auf die Widerklage des Beschwerdeführers trat das Kantonsgericht nicht ein, da es diese als verspätet erhoben erachtete.
B.d Eine vom Beschwerdeführer gegen den Entscheid des Kantonsgerichts vom 17. August 2007 erhobene Nichtigkeitsbeschwerde wies das Kassationsgericht des Kantons St. Gallen mit Entscheid vom 23. April 2008 ab, soweit es darauf eintrat.
C. Mit Beschwerde in Zivilsachen vom 13. Juni 2008 beantragt der Beschwerdeführer dem Bundesgericht, die Urteile des Kantonsgerichts St. Gallen vom 17. August 2007 sowie des Kassationsgerichts des Kantons St. Gallen vom 23. April 2008 seien aufzuheben und die Klage des Beschwerdegegners abzuweisen. Eventualiter sei die Sache zu neuer Beurteilung an das Kantonsgericht zurückzuweisen.
Der Beschwerdegegner beantragt die Abweisung der Beschwerde. Die Vernehmlassung des Kantonsgerichts beschränkt sich auf Ausführungen zur Rüge des Beschwerdeführers im Zusammenhang mit dem Verfahrensablauf. Das Kassationsgericht hat auf eine Vernehmlassung verzichtet.
D. Mit Verfügung vom 17. Juli 2008 wurde der Beschwerde die aufschiebende Wirkung erteilt.
Erwägungen:
1. 1.1 Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist somit weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (vgl. BGE 132 II 257 E. 2.5 S. 262; 130 III 136 E. 1.4 S. 140). Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind. Es ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen werden (BGE 133 II 249 E. 1.4.1 mit Hinweisen).
Unerlässlich ist im Hinblick auf Art. 42 Abs. 2 BGG, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Verletzung von Bundesrecht liegt. Der Beschwerdeführer soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die er im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit seiner Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (vgl. BGE 121 III 397 E. 2a S. 400; 116 II 745 E. 3 S. 749; Urteil 4A_22/2008 vom 10. April 2008, E. 1).
1.2 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein (Art. 97 Abs. 1 BGG). Neue Tatsachen und Beweismittel dürfen nur soweit vorgebracht werden, als der Entscheid der Vorinstanz dazu Anlass gibt (Art. 99 Abs. 1 BGG).
Der Beschwerdeführer, der die Sachverhaltsfeststellungen der Vorinstanz anfechten will, muss substantiiert darlegen, inwiefern die Voraussetzungen einer Ausnahme gemäss Art. 105 Abs. 2 BGG gegeben sind und das Verfahren bei rechtskonformer Ermittlung des Sachverhalts anders ausgegangen wäre; andernfalls kann ein Sachverhalt, der vom im angefochtenen Entscheid festgestellten abweicht, nicht berücksichtigt werden. Der Beschwerdeführer kann sich dabei nicht damit begnügen, den bestrittenen Feststellungen eigene tatsächliche Behauptungen gegenüberzustellen oder darzulegen, wie die Beweise seiner Ansicht nach zu würdigen gewesen wären. Vielmehr hat er klar und substantiiert aufzuzeigen, inwiefern die gerügten Feststellungen bzw. die Unterlassung von Feststellungen offensichtlich unrichtig sind oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruhen. Auf eine Kritik an den tatsächlichen Feststellungen der Vorinstanz, die diesen Anforderungen nicht genügt, ist nicht einzutreten (vgl. BGE 133 III 350 E. 1.3, 393 E. 7.1, 462 E. 2.4).
1.3 Die Beschwerde genügt diesen Voraussetzungen über weite Strecken nicht. So verkennt der Beschwerdeführer insbesondere, dass die Vorinstanz seinen Einwand, wonach der Kaufrechtsvertrag vom 30. September 1999 wegen Simulation ungültig sei, nicht schützte. Die Vorinstanz hielt den Beweis für die Behauptung des Beschwerdeführers, dass die rechtsgeschäftlichen Erklärungen gemäss den vom Beschwerdegegner vorgelegten Verträgen nicht dem wirklichen Willen der Parteien entsprachen, sondern ein definitiver Verkauf der fraglichen Namenaktien beabsichtigt war, für nicht erbracht. Dennoch unterbreitet der Beschwerdeführer dem Bundesgericht unter der Überschrift "Nichtanwendung von Art. 18 OR" in ausführlichen Darlegungen seine eigene Ansicht und beruft sich dabei auf verschiedenste Unterlagen, ohne jedoch rechtsgenügend aufzuzeigen, inwiefern die tatsächlichen Feststellungen der Vorinstanz zum Willen der Parteien offensichtlich unrichtig sind oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruhen. Seine Ausführungen sind rein appellatorisch. Darauf ist nicht einzutreten.
1.4 Der Beschwerdeführer beruft sich entgegen dem vorinstanzlichen Beweisergebnis nicht nur wiederholt darauf, die Namenaktien der X._ AG seien ihm für Fr. 96'900.-- verkauft worden, er geht auch verschiedentlich über den verbindlich festgestellten Sachverhalt des angefochtenen Urteils hinaus, so etwa mit der Behauptung, die gegenseitig erbrachten Leistungen der Parteien seien gleichwertig.
1.5 Der Beschwerdeführer genügt den genannten Begründungsanforderungen (Art. 42 Abs. 2 BGG) auch insoweit nicht, als er sich zum Teil nicht konkret mit den vorinstanzlichen Erwägungen auseinandersetzt, sondern sich damit begnügt, seine bereits im kantonalen Verfahren vertretenen Rechtsstandpunkte erneut zu bekräftigen. So begründet der Beschwerdeführer seine Rüge der Verletzung von Art. 6 EMRK sowie Art. 8 und Art. 29 Abs. 2 BV damit, die kurze Unterbrechung der Verhandlung von 15 - 20 Minuten vor dem Kantonsgericht habe nicht ausgereicht, um die vom Zeugen eingereichten drei Aktenstücke zu erfassen und eine Stellungnahme zum Beweisergebnis vorzubereiten. Damit wiederholt der Beschwerdeführer vor Bundesgericht praktisch wörtlich dieselben Vorbringen, die er bereits in seiner Nichtigkeitsklage dem Kassationsgericht unterbreitet hat. Er geht jedoch mit keinem Wort auf die Erwägung des Kassationsgerichts ein, wonach der Beschwerdeführer im Hinblick auf Art. 169 Abs. 2 und Art. 170 ZPO/SG sowie den Grundsatz von Treu und Glauben eine längere Unterbrechung hätte beantragen müssen, sich stattdessen aber vorbehaltlos auf die Verhandlung zur Beweiswürdigung eingelassen habe, weshalb ihm die Berufung auf den Gehörsanspruch verwehrt sei. Auf die Rüge des Beschwerdeführers ist daher mangels rechtsgenügender Begründung nicht einzutreten.
1.6 Nicht einzutreten ist schliesslich auf die Ausführungen des Beschwerdeführers, soweit er damit eigene Forderungen gegenüber dem Beschwerdegegner ins Feld führt, die er im kantonalen Verfahren widerklageweise geltend machte. Der Beschwerdeführer übersieht, dass das Kantonsgericht auf seine Widerklage nicht eingetreten ist, da es diese als verspätet erachtet hat. Dagegen hat der Beschwerdeführer kein Rechtsmittel ergriffen.
2. Der Beschwerdeführer wirft dem Kantonsgericht zunächst vor, es habe Art. 19 und Art. 20 OR zu Unrecht nicht angewendet.
2.1 Der Beschwerdeführer macht geltend, Zweck der drei Verträge vom 30. September 1999 (mit Aktienkaufvertrag, Kaufrechtsvertrag sowie Darlehensvertrag) sei einzig die Täuschung des Scheidungsrichters und damit die Verminderung der Unterhaltsbeiträge an die Ehefrau des Beschwerdegegners gewesen. Die Vorgehensweise des Beschwerdegegners habe allein dazu gedient, sich auf geschickte Weise des Vermögens zu entäussern, um im Rahmen des Scheidungsverfahrens in den Genuss von verminderten Unterhaltszahlungen an die Ehefrau zu kommen. Entsprechend sei das Vertragswerk sittenwidrig und damit nichtig, weshalb auch die vom Kantonsgericht geschützte vertragliche Rechtsgrundlage für den Rückforderungsanspruch des Beschwerdegegners entfalle.
2.2 Die Vorbringen des Beschwerdeführers überzeugen nicht. Wie der Beschwerdegegner zu Recht einwendet, war im Scheidungsverfahren nicht entscheidend, dass die fraglichen Aktien unter Einräumung eines Rückkaufrechts an den Beschwerdeführer verkauft wurden, sondern der Umstand, dass dieses Vertragskonstrukt dem Gericht nicht offengelegt wurde. Die Frage der Nichtigkeit der Verträge im Sinne von Art. 20 OR kann vorliegend jedoch offen gelassen werden. Der Beschwerdeführer übersieht nämlich, dass er selbst dann grundsätzlich zur Rückübertragung der verbrieften Namenaktien verpflichtet wäre, wenn seiner Ansicht zu folgen und von der Nichtigkeit der drei Verträge vom 30. September 1999 auszugehen wäre. Diesfalls hätte der Beschwerdeführer mangels Kaufrechtsvertrags zwar keinen Anspruch darauf, die Aktien zurückzukaufen, mangels gültigem Kaufvertrag wäre jedoch auch die Übertragung an den Beschwerdeführer rechtsgrundlos erfolgt, weshalb dem Beschwerdegegner ein dinglicher Herausgabeanspruch (Art. 641 Abs. 2 ZGB) zustünde. Die Vorbringen des Beschwerdeführers stossen somit ins Leere.
3. Der Beschwerdeführer macht weiter geltend, das Kantonsgericht habe Art. 66 OR inhaltlich unrichtig angewendet. Nach dieser Bestimmung kann nicht zurückgefordert werden, was in der Absicht gegeben worden ist, einen rechtswidrigen oder unsittlichen Erfolg herbeizuführen.
3.1 Das Kantonsgericht hat den Einwand des Beschwerdeführers zurückgewiesen, dass Art. 66 OR der Rückforderung der Namenaktien der X._ AG entgegenstehe. Die Vorinstanz erwog in Übereinstimmung mit der herrschenden Lehre, dass die Bestimmung nur auf Tatbestände des eigentlichen "Gaunerlohns" anzuwenden sei. Da im zu beurteilenden Fall nicht von einem solchen auszugehen sei, komme ein Ausschluss der Rückforderung gestützt auf Art. 66 OR nicht in Betracht.
3.2 Der Beschwerdeführer wendet sich gegen die eingeschränkte Auslegung von Art. 66 OR auf den eigentlichen Gaunerlohn. Eine Ausnahme von Art. 66 OR sei nur dann gerechtfertigt, wenn der Empfänger der Vorleistung über die Mitwirkung am inhaltlich rechtswidrigen Geschäft hinaus eine arglistige Täuschung begangen habe und ihm somit ein zusätzliches verwerfliches Verhalten vorzuwerfen sei.
3.3 Der Ansicht des Beschwerdeführers zur Auslegung von Art. 66 OR kann nicht gefolgt werden. In einem neueren Entscheid hat das Bundesgericht klargestellt, dass der eigentliche Zweck der Bestimmung darin besteht, die Anstiftung oder Belohnung eines rechts- oder sittenwidrigen Handelns durch den Ausschluss der Rückforderbarkeit zu sanktionieren. Nach dieser geänderten Rechtsprechung ist die Rückforderung nach Art. 66 OR nur ausgeschlossen, wenn die Leistungen zur Anstiftung oder Belohnung eines rechts- oder sittenwidrigen Verhaltens im Sinne eines Gaunerlohns erfolgen (BGE 134 III 438 E. 3.2 S. 445). Bei den an den Beschwerdeführer übertragenen Namenaktien handelt es sich nicht um eine derartige Belohnung, weshalb in Übereinstimmung mit dem angefochtenen Urteil von einem Gaunerlohn nicht die Rede sein kann. Der Beschwerdeführer hält dem Rückübertragungsanspruch des Beschwerdegegners die Bestimmung von Art. 66 OR daher selbst dann zu Unrecht entgegen, wenn von der Nichtigkeit (Art. 20 OR) der Verträge zwischen den Parteien auszugehen wäre.
Bei diesem Ergebnis kann die Frage offen bleiben, ob Art. 66 OR überhaupt analog auch auf Vindikationsansprüche Anwendung findet (dazu SCHULIN, Basler Kommentar, N. 6 zu Art. 66 OR). Ebenso erübrigen sich Ausführungen dazu, ob die Erwägung der Vorinstanz, die Berufung des Beschwerdeführers auf Art. 66 OR erfolge rechtsmissbräuchlich, vor Art. 2 Abs. 2 ZGB standhält, da es sich dabei um eine Eventualbegründung des Kantonsgerichts für den Fall handelt, dass Art. 66 OR nebst dem eigentlichen Gaunerlohn auch auf die vorliegende Fallkonstellation angewendet werden könnte, was sich als unzutreffend erwiesen hat.
4. Die Beschwerde erweist sich als unbegründet und ist abzuweisen, soweit darauf eingetreten werden kann. Dem Ausgang des Verfahrens entsprechend wird der Beschwerdeführer kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 6'000.-- werden dem Beschwerdeführer auferlegt.
3. Der Beschwerdeführer hat den Beschwerdegegner für das bundesgerichtliche Verfahren mit Fr. 7'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien, dem Kantonsgericht St. Gallen, III. Zivilkammer, und dem Kassationsgericht des Kantons St. Gallen schriftlich mitgeteilt.
Lausanne, 2. Oktober 2008
Im Namen der I. zivilrechtlichen Abteilung des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Corboz Leemann