Sachverhalt:
A. A.a Am 30. März 1999 gründeten C._ und D._ in Zürich die X._ GmbH. Dabei übernahm die Gesellschaft gemäss Sacheinlagevertrag und Inventarliste vom 1. März 1999 Mobiliar, Geräte und einen Lieferwagen im Wert von Fr. 64'000.--, wovon Fr. 50'000.-- auf das Stammkapital angerechnet und Fr. 14'000.-- als Forderung gutgeschrieben wurden. Die beiden Gründer erhielten je eine zu 100% liberierte Stammeinlage zu Fr. 25'000.--. Als Gesellschaftszweck wurde der "Gross- und Detailhandel mit Waren aller Art, insbesondere mit Lebensmitteln, Geschenkartikeln und Haushaltwaren" angegeben.
Als einzelzeichnungsberechtigten Geschäftsführer setzten die Gründer B._ (Beschwerdegegner), einen Bruder von C._, ein. Der Beschwerdegegner übte diese Funktion vom 30. März 1999 bis 26. Juli 2002 aus.
A.b Mit öffentlich beurkundeten Verträgen vom 29. September 1999 verpflichteten sich die Gründer, ihre beiden Stammeinlagen zu je Fr. 25'000.-- per 1. Oktober 1999 an E._ zu übertragen. Mit Vereinbarung vom 19. Oktober 1999 stellten E._ und der Beschwerdegegner fest, dass sie gestützt auf den öffentlich beurkundeten Vertrag vom 29. September 1999 zu je 50% Eigentümer der X._ GmbH seien, und E._ verpflichtete sich darin, dem Beschwerdegegner für dessen Anteil Fr. 85'000.-- zu bezahlen.
A.c Am 13. März 2000 übernahm A._ (Beschwerdeführer) die Stammeinlagen und liess sich als Gesellschafter mit einer Stammeinlage von Fr. 50'000.-- im Handelsregister eintragen. In einem Schreiben vom 24. April 2002 bestätigten der Beschwerdeführer und der Beschwerdegegner unter ausdrücklichem Hinweis auf den anders lautenden Handelsregistereintrag, dass sie zu gleichen Teilen, d.h. zu je 50%, Partner und Eigentümer der X._ GmbH seien. Am 26. Juli 2002 übernahm der Beschwerdeführer die Funktion des Geschäftsführers vom Beschwerdegegner.
Am 23. September 2004 trat der Beschwerdeführer die Stammeinlage an seinen Bruder F._ ab. Dieser war in der Folge bis zum 20. Oktober 2004 einziger Gesellschafter und Geschäftsführer mit Einzelunterschrift.
A.d Im März 2005 entzündete sich zwischen dem Beschwerdegegner und dem Beschwerdeführer ein Streit.
Der Beschwerdegegner machte geltend, dass er der tatsächliche Eigentümer der X._ GmbH gewesen sei. Die Stammanteile seien bei der Gründung nur deshalb auf die Namen von D._ und seines Bruders C._ eingetragen worden, weil der Beschwerdegegner über keine Arbeitsbewilligung verfügt habe. Aus dem gleichen Grund sei am 13. März 2000 der Beschwerdeführer im Handelsregister als Alleineigentümer eingetragen worden, obwohl dieser vom Beschwerdegegner lediglich 50% der Stammanteile übernommen habe. In der Folge sei es zwischen den Parteien zu Differenzen gekommen, worauf der Beschwerdeführer den Beschwerdegegner am 26. Juli 2002 im Handelsregister habe streichen lassen. Bis zum 30. August 2004 habe der Beschwerdegegner jedoch weiterhin im Aussendienst des Unternehmens gearbeitet. Am 23. September 2004 habe der Beschwerdeführer schliesslich die Stammanteile des Beschwerdegegners ohne dessen Ermächtigung auf F._ übertragen. Für die verlorenen Vermögens- und Eigentumsansprüche an der Gesellschaft verlangt der Beschwerdegegner Schadenersatz.
B. B.a Am 5. Mai 2005 erhob der Beschwerdegegner beim Kreisgericht Rheintal Klage mit dem Begehren, es sei der Beschwerdeführer zur Zahlung eines Betrags von Fr. 50'000.-- an den Beschwerdegegner zu verurteilen. Weiter behielt er sich die "Erhöhung der Forderung während des Verfahrens" vor, "da der genaue Schaden zur Zeit noch nicht beziffert werden" könne, und beantragte, es seien der Beschwerdeführer und die X._ GmbH zu verpflichten, "umgehend sämtliche Geschäftsbücher inklusive Buchhaltung mit allen Bilanzen und Erfolgsrechnungen seit dem 01.01.2000 bis dato zur Einsichtnahme herauszugeben". Anlässlich der Verhandlung vor dem Kreisgericht präzisierte der Beschwerdegegner sein Hauptbegehren und beantragte, es sei der Beschwerdeführer zur Zahlung von "mindestens Fr. 556'903.--" zu verurteilen.
Mit Urteil vom 9. Oktober 2008 hiess das Kreisgericht die Klage teilweise gut und verurteilte den Beschwerdeführer zur Zahlung von Fr. 500'000.-- an den Beschwerdegegner.
B.b Dagegen legte der Beschwerdeführer am 13. Januar 2009 Berufung beim Kantonsgericht St. Gallen ein mit dem Antrag, es sei das Urteil des Kreisgerichts aufzuheben und die Klage vollständig abzuweisen.
Mit Entscheid vom 8. April 2010 hiess das Kantonsgericht die Berufung teilweise gut, verurteilte den Beschwerdeführer zur Zahlung von Fr. 280'000.-- an den Beschwerdegegner und wies die Klage im Mehrbetrag ab.
Das Kantonsgericht kam zum Schluss, dass der Beschwerdegegner, obwohl nicht im Handelsregister eingetragen, an der X._ GmbH von deren Gründung bis im September 1999 zu 100% und von diesem Zeitpunkt an zu 50% wirtschaftlich beteiligt war. Zwischen den Parteien habe eine stille Gesellschaft bestanden mit dem Beschwerdeführer als Hauptgesellschafter und dem Beschwerdegegner als stillem Gesellschafter. Der Zweck der stillen Gesellschaft habe darin bestanden, die X._ GmbH als Partner gemeinsam zu führen. Dieser Zweck sei unmöglich geworden, nachdem der Beschwerdeführer am 23. September 2004 die Stammanteile von Fr. 50'000.-- ohne Ermächtigung des Beschwerdegegners an F._ übertragen habe. Da der Beschwerdegegner wirtschaftlich zu 50% an der X._ GmbH beteiligt gewesen sei, sei ihm durch die Veräusserung der Stammanteile an F._ ein Verlust im Umfang der Hälfte des Unternehmenswertes der X._ GmbH entstanden. Dafür habe der Beschwerdeführer einzustehen. Mangels zuverlässiger Buchhaltungsunterlagen und aufgrund des strafrechtlich relevanten Verhaltens des Beschwerdeführers, welches die Beweislage erschwert habe, könne der Unternehmenswert jedoch nicht genau bestimmt werden. Es liege ein eigentlicher Beweisnotstand vor. Aus diesem Grund sei der Schadenersatzanspruch des Beschwerdegegners in Anwendung von <ref-law> ermessensweise zu schätzen. Dabei nahm die Vorinstanz die Bilanz des Jahres 2003 zum Anhaltspunkt und kam gestützt darauf sowie weiteren Überlegungen zum Schluss, dass das Eigenkapital der X._ GmbH im Zeitpunkt der Veräusserung der Stammanteile schätzungsweise Fr. 560'000.-- betragen habe. Der Anspruch des Beschwerdegegners gegenüber dem Beschwerdeführer auf Schadenersatz wegen des Verlusts der Beteiligung betrage somit Fr. 280'000.--.
C. Mit Beschwerde in Zivilsachen vom 2. September 2010 beantragt der Beschwerdeführer dem Bundesgericht, es sei das Urteil des Kantonsgerichts aufzuheben und die Klage des Beschwerdegegners abzuweisen. Eventualiter sei die Streitsache zur Neubeurteilung an das Kantonsgericht zurückzuweisen. Weiter sei der Beschwerde die aufschiebende Wirkung zu erteilen.
Mit Vernehmlassung vom 11. November 2010 beantragt der Beschwerdegegner die Abweisung der Beschwerde. Gleichzeitig ersucht er um die Gewährung der unentgeltlichen Rechtspflege samt Verbeiständung für das bundesgerichtliche Verfahren sowie darum, der Beschwerde wiedererwägungsweise die aufschiebende Wirkung zu entziehen bzw. eventualiter als vorsorgliche Massnahme den Beschwerdeführer dazu anzuhalten, die Streitforderung von Fr. 280'000.-- inkl. Gerichts- und Parteikosten sicherzustellen.
D. Mit Präsidialverfügung vom 4. Oktober 2010 wurde der Beschwerde die aufschiebende Wirkung erteilt.
Mit Präsidialverfügung vom 17. November 2010 wurden die Gesuche um Wiedererwägung betreffend der erteilten aufschiebenden Wirkung sowie um Anordnung der Sicherstellung des strittigen Forderungsbetrags als vorsorgliche Massnahme abgewiesen.

Erwägungen:
1. Das Bundesgericht prüft von Amtes wegen und mit freier Kognition, ob ein Rechtsmittel zulässig ist (<ref-ruling> E. 1 S. 331 mit Hinweisen).
1.1 Die Beschwerde richtet sich gegen einen verfahrensabschliessenden Entscheid in einer Zivilsache (<ref-law>). Die Rechtsbegehren des Beschwerdeführers sind im kantonalen Verfahren nicht geschützt worden (<ref-law>), der massgebende Streitwert beträgt mehr als Fr. 30'000.-- (Art. 51 i.V.m. <ref-law>) und die Beschwerdefrist ist eingehalten (<ref-law>).
1.2 Der angefochtene Entscheid des Kantonsgerichts ist allerdings nur insofern der Beschwerde zugänglich, als er das Erfordernis der Letztinstanzlichkeit erfüllt, mithin für die gegen diesen erhobenen Rügen kein kantonales Rechtsmittel mehr offen stand (<ref-law>; <ref-ruling> E. 1.3 S. 527).
Gegen den Entscheid des Kantonsgerichts konnte kantonale Nichtigkeitsbeschwerde an das Kassationsgericht des Kantons St. Gallen nach Art. 237 ff. des st. gallischen Zivilprozessgesetzes vom 20. Dezember 1990 (ZPO/SG) erhoben werden. Er ist daher insoweit nicht kantonal letztinstanzlich, als er vom Kassationsgericht überprüft werden konnte. Nach <ref-law>/SG konnte mit Nichtigkeitsbeschwerde die willkürliche oder aktenwidrige Feststellung von Tatsachen sowie die Verletzung des kantonalen Rechts gerügt werden, wobei zum kantonalen Recht i.S. dieser Bestimmung gemäss der Praxis des Kassationsgerichts auch die bundesverfassungsrechtlich oder staatsvertraglich gewährleisteten Verfahrensgarantien gehörten (vgl. Urteile 4A_588/2010 vom 11. Januar 2011 E. 1.2; 4A_338/2009 vom 29. Oktober 2009 E. 1.2.1).
Soweit der Beschwerdeführer vor Bundesgericht entsprechende Rügen gegen den Entscheid des Kantonsgerichts erhebt, kann darauf mangels Letztinstanzlichkeit des angefochtenen Entscheids nicht eingetreten werden. Dies gilt namentlich für den Vorwurf, die Vorinstanz habe gegen die Dispositionsmaxime verstossen, gehörte doch diese im Zeitpunkt, in dem der angefochtene Entscheid erging, noch dem kantonalen Zivilprozessrecht an (vgl. <ref-ruling> E. 5d S. 460).
1.3 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 1.5).
Nach dem in vorstehender Erwägung 1.2 Ausgeführten hätte der Beschwerdeführer Rügen, es seien bei der Sachverhaltsfeststellung verfassungsmässige Rechte verletzt worden, mit kantonaler Nichtigkeitsbeschwerde geltend machen müssen. In der Beschwerde an das Bundesgericht ist gegen das Urteil des Kantonsgerichts einzig die Rüge zulässig, dieses habe bei der Sachverhaltsermittlung <ref-law> verletzt. Vorbehältlich solcher Rügen ist durchwegs vom Sachverhalt auszugehen, wie ihn das Kantonsgericht festgestellt hat. Soweit der Beschwerdeführer seiner Beschwerdebegründung einen davon abweichenden Sachverhalt zugrunde legt, ohne eine zulässige Sachverhaltsrüge zu begründen, kann darauf nicht eingetreten werden.
1.4 Das Bundesgericht prüft unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind. Es ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen werden (<ref-ruling> E. 1.4.1 S. 254 mit Hinweisen). Eine qualifizierte Rügepflicht gilt hinsichtlich der Verletzung von Grundrechten und von kantonalem und interkantonalem Recht. Das Bundesgericht prüft eine solche Rüge nur insofern, als sie in der Beschwerde präzise vorgebracht und begründet worden ist (<ref-law>).
Unerlässlich ist im Hinblick auf <ref-law>, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Verletzung von Bundesrecht liegt. Der Beschwerdeführer soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die er im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit seiner Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (vgl. <ref-ruling> E. 2.1 S. 245 f.; <ref-ruling> E. 2a S. 400; <ref-ruling> E. 3 S. 749). Dabei hat die Begründung in der Beschwerdeschrift selbst zu erfolgen; Verweise auf andere Rechtsschriften, insbesondere im kantonalen Verfahren eingereichte, sind unbeachtlich (vgl. <ref-ruling> E. 3.1 S. 399 f.; <ref-ruling> E. 2.3 S. 387 f., je mit Verweisen).
1.5 Diese Grundsätze verkennt der Beschwerdeführer in mehrerer Hinsicht:
1.5.1 Er beanstandet, die Vorinstanz habe <ref-law> zu Unrecht angewendet. Die Voraussetzungen für eine ermessensweise Schadensschätzung seien nicht gegeben, da der Beschwerdegegner seiner Substanziierungspflicht mit Bezug auf die Schadenshöhe nicht nachgekommen sei. Es gehe nicht an, dass dem Beschwerdegegner das Prozessführungsrisiko mit Hinweis auf <ref-law> abgenommen werde. Dieser habe vielmehr nach <ref-law> die Last für den Beweis des Schadens zu tragen.
Bei diesen Einwänden übersieht der Beschwerdeführer, dass die Vorinstanz in Erwägung 3e (S. 20 - 23) des angefochtenen Entscheids ausführlich dargelegt hat, weshalb sie die Voraussetzungen für die Anwendung von <ref-law> als gegeben erachtet. Sie hat namentlich ausgeführt, dass keine zuverlässigen Buchhaltungsunterlagen der X._ GmbH existieren, welche eine Bewertung des Unternehmens und damit eine genaue Schadensberechnung ermöglichen würden. Der Beschwerdeführer selbst habe durch strafrechtlich relevantes Verhalten die Beweislage erschwert, so dass von einem eigentlichen Beweisnotstand gesprochen werden könne. Ein strikter Beweis sei dem Beschwerdegegner damit nicht zumutbar.
Mit dieser Erwägung setzt sich der Beschwerdeführer nicht im Ansatz auseinander. Er geht namentlich mit keinem Wort auf die Ausführungen der Vorinstanz ein, weshalb es dem Beschwerdegegner nicht zumutbar und möglich sei, den Wert der X._ GmbH im Zeitpunkt der Veräusserung der Stammanteile an den Bruder des Beschwerdeführers zu berechnen. Zudem behauptet er zu Unrecht, der Beschwerdegegner habe es versäumt, einen Zeitpunkt für die Bemessung des von ihm behaupteten Schadens zu benennen. Aus dem angefochtenen Entscheid ergibt sich vielmehr, dass der Beschwerdegegner unter Hinweis auf das erstinstanzliche Urteil durchaus mögliche Zeitpunkte genannt hat. Die Rüge des Beschwerdeführers, die Vorinstanz habe <ref-law> zu Unrecht angewendet und gegen <ref-law> verstossen, genügt damit den Begründungsanforderungen nach <ref-law> nicht bzw. erweist sich als unbegründet.
1.5.2 Der Beschwerdeführer wirft der Vorinstanz sodann vor, diese habe bei der Schadensschätzung nach <ref-law> ihr Ermessen in "unzulässiger, rechtsverletzender Weise" ausgeübt.
Dabei verkennt der Beschwerdeführer, dass die ermessensweise Schadensschätzung nach <ref-law> auf Tatbestandsermessen im Rahmen der richterlichen Beweiswürdigung und nicht auf Rechtsfolgeermessen im Sinne von <ref-law> beruht. Sie gehört damit zur Feststellung des Sachverhalts und kann daher vom Bundesgericht nur nach Massgabe von Art. 97 und 105 Abs. 2 BGG überprüft werden (<ref-ruling> E. 5.1 S. 364; <ref-ruling> E. 2b/aa S. 277; <ref-ruling> E. 3b S. 222). Eine zulässige Sachverhaltsrüge (oben E. 1.3) lässt sich den Ausführungen des Beschwerdeführers indessen nicht im Ansatz entnehmen.
1.5.1 Schliesslich macht der Beschwerdeführer geltend, die Erreichung des Zwecks der stillen Gesellschaft sei entgegen der Auffassung der Vorinstanz nicht definitiv unmöglich geworden. Zwischen den Parteien hätten seit 2004 lediglich Differenzen bestanden, welche für die Annahme der Unmöglichkeit der Zweckerreichung nicht ausreichen würden. Indem die Vorinstanz das Gegenteil angenommen habe, habe sie gegen Bundesrecht verstossen.
Auch diese Rüge genügt den Begründungsanforderungen nach <ref-law> nicht, da sich der Beschwerdeführer mit den vorinstanzlichen Erwägungen zum Zweck der stillen Gesellschaft und der Unmöglichkeit dessen Erreichung aufgrund des Verkaufs der Stammanteile an F._ (E. 2c/cc, 3b) nicht ansatzweise auseinandersetzt. Zudem bezieht sich der Beschwerdeführer bei dieser Rüge auf Tatsachenelemente, welche im angefochtenen Entscheid keine Stütze finden. Damit ist er nicht zu hören.
2. Die Beschwerde ist abzuweisen, soweit darauf einzutreten ist.
Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG).
Das Gesuch des Beschwerdegegners um unentgeltliche Rechtspflege wird damit in Bezug auf die Gerichtskosten gegenstandslos. Dies gilt indessen nicht in Bezug auf die unentgeltliche Verbeiständung, da dem Rechtsvertreter des Beschwerdegegners im Fall seiner Bestellung als amtlicher Vertreter bei Uneinbringlichkeit der Parteientschädigung aus der Bundesgerichtskasse ein Honorar bezahlt werden müsste (<ref-law>; <ref-ruling> E. 3). Da der Beschwerdegegner jedoch seine Bedürftigkeit nicht schlüssig nachzuweisen vermag, ist das Gesuch insoweit abzuweisen.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Das Gesuch des Beschwerdegegners um unentgeltliche Rechtspflege wird abgewiesen, soweit es nicht gegenstandslos geworden ist.
3. Die Gerichtskosten von Fr. 6'000.-- werden dem Beschwerdeführer auferlegt.
4. Der Beschwerdeführer hat den Beschwerdegegner für das bundesgerichtliche Verfahren mit Fr. 7'000.-- zu entschädigen.
5. Dieses Urteil wird den Parteien und dem Kantonsgericht St. Gallen, III. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 20. Mai 2011
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Der Gerichtsschreiber:
Klett Hurni