Sachverhalt: A. A.a Am 6. November 1992 gründete der Sohn von A._, (Beschwerdeführer) mit drei weiteren Personen die X._ AG mit Sitz in St. Gallen. Als Hauptzweck der Gesellschaft wurde die Herstellung und der Vertrieb von Produkten aller Art bezeichnet, insbesondere von alternativ-medizinischen Gesundheitsprodukten sowie von Produkten aus dem Bereich der Umwelttechnologie. Der Beschwerdeführer hat gemäss dem zwischen ihm und den Aktionären der X._ AG abgeschlossenen Mandatsvertrag vom 6. November 1992 die Funktion des einzigen Verwaltungsrats der Gesellschaft übernommen. Mit Beschluss der Generalversammlung vom 25. Januar 1995 wurden zwei weitere Mitglieder in den Verwaltungsrat aufgenommen, wobei einer von ihnen für das Jahr 1995 zum Präsidenten des Verwaltungsrats bestimmt wurde. Der Beschwerdeführer blieb bis zu seinem Rücktritt an der ordentlichen Generalversammlung vom 27. Juni 1995 Mitglied des Verwaltungsrats. A.b Aufgrund einer Überschuldungsanzeige durch den Verwaltungsrat vom 22. August 1997 wurde am 29. September 1997 über die X._ AG der Konkurs eröffnet. Die Beschwerdegegner machten in der Folge geltend, im Zeitraum zwischen dem 19. April 1993 und dem 26. Juni 1995 mit der X._ AG Kaufverträge über Wasserschutzkissen mit der Bezeichnung "Y._" abgeschlossen zu haben und dabei mittels unlauterer Verkaufsmethoden von den Verkäufern der X._ AG getäuscht worden zu sein. Sie liessen sich im Konkursverfahren der X._ AG die Prozessführungsbefugnis der Konkursmasse hinsichtlich einer Verantwortlichkeitsklage gegen die Organe der Gesellschaft abtreten. B. B.a Mit Klage vom 29. November 2002 beim Handelsgericht des Kantons St. Gallen gegen die damaligen Organe der X._ AG wurde als mittelbarer Schaden ein Betrag von Fr. 1'319'252.10 zuzüglich Zins zu 5 % seit 29. September 1997 geltend gemacht, der im Wesentlichen durch ungenügende Rückstellungen für die absehbaren künftigen Verpflichtungen der X._ AG und die dadurch ermöglichten widerrechtlichen Dividenden und Honorarbezüge sowie übersetzten Gehaltszahlungen verursacht worden sei. Mit Entscheid vom 10. Juli 2009 verpflichtete das Handelsgericht den Beschwerdeführer zur Zahlung von Fr. 300'000.-- nebst Zins zu 5 % seit 27. Oktober 1997, solidarisch mit zwei weiteren Beklagten. Im Innenverhältnis wurde die Haftungsquote des Beschwerdeführers auf Fr. 171'430.-- festgesetzt (Dispositiv-Ziffern 3a und 4a). Das Handelsgericht hielt fest, der Beschwerdeführer hätte die Tragweite der der X._ AG aus ihren Geschäftsmethoden entstandenen und entstehenden Risiken erkennen müssen und auch erkennen können, wenn er seiner Aufsichts- und Instruktionspflicht, insbesondere im Zeitraum zwischen Herbst 1994 und Ende Juni 1995, mit hinreichender Sorgfalt nachgekommen wäre. So hätte er spätestens im Frühjahr 1995 bei Wahrnehmung der ihm obliegenden Aufsichts- und Instruktionspflichten als erste Sofortmassnahme in der Jahresrechnung 1994 dafür sorgen müssen, dass hinreichende Rückstellungen für die der X._ AG aus ihren Geschäftsmethoden entstandenen und absehbaren Prozessrisiken aufgenommen würden. Der auf Grund dieser Unterlassungen erfolgte unrechtmässige Substanzverlust zufolge überhöhter Dividendenausschüttungen habe bis zur Konkurseröffnung nicht mehr kompensiert werden können. B.b Eine vom Beschwerdeführer gegen den Entscheid des Handelsgerichts vom 10. Juli 2009 erhobene Nichtigkeitsbeschwerde wies das Kassationsgericht des Kantons St. Gallen mit Entscheid vom 23. März 2010 ab, soweit es darauf eintreten konnte. C. Mit Beschwerde in Zivilsachen beantragt der Beschwerdeführer dem Bundesgericht, es seien Dispositiv-Ziffern 3a und 4a des Urteils des Handelsgerichts des Kantons St. Gallen vom 10. Juli 2009 sowie das Urteil des Kassationsgerichts vom 23. März 2010 aufzuheben und die Klage sei abzuweisen. Im Weiteren sei die Kostenverlegung gemäss den beiden Urteilen aufzuheben und die Streitsache zur Neuverlegung der Kosten an die Vorinstanz zurückzuweisen. Die Beschwerdegegner schliessen auf Abweisung der Beschwerde, soweit darauf eingetreten werden könne. Sowohl das Handelsgericht als auch das Kassationsgericht haben auf eine Vernehmlassung verzichtet.