Sachverhalt: A. A.a Am 30. März 1999 gründeten C._ und D._ in Zürich die X._ GmbH. Dabei übernahm die Gesellschaft gemäss Sacheinlagevertrag und Inventarliste vom 1. März 1999 Mobiliar, Geräte und einen Lieferwagen im Wert von Fr. 64'000.--, wovon Fr. 50'000.-- auf das Stammkapital angerechnet und Fr. 14'000.-- als Forderung gutgeschrieben wurden. Die beiden Gründer erhielten je eine zu 100% liberierte Stammeinlage zu Fr. 25'000.--. Als Gesellschaftszweck wurde der "Gross- und Detailhandel mit Waren aller Art, insbesondere mit Lebensmitteln, Geschenkartikeln und Haushaltwaren" angegeben. Als einzelzeichnungsberechtigten Geschäftsführer setzten die Gründer B._ (Beschwerdegegner), einen Bruder von C._, ein. Der Beschwerdegegner übte diese Funktion vom 30. März 1999 bis 26. Juli 2002 aus. A.b Mit öffentlich beurkundeten Verträgen vom 29. September 1999 verpflichteten sich die Gründer, ihre beiden Stammeinlagen zu je Fr. 25'000.-- per 1. Oktober 1999 an E._ zu übertragen. Mit Vereinbarung vom 19. Oktober 1999 stellten E._ und der Beschwerdegegner fest, dass sie gestützt auf den öffentlich beurkundeten Vertrag vom 29. September 1999 zu je 50% Eigentümer der X._ GmbH seien, und E._ verpflichtete sich darin, dem Beschwerdegegner für dessen Anteil Fr. 85'000.-- zu bezahlen. A.c Am 13. März 2000 übernahm A._ (Beschwerdeführer) die Stammeinlagen und liess sich als Gesellschafter mit einer Stammeinlage von Fr. 50'000.-- im Handelsregister eintragen. In einem Schreiben vom 24. April 2002 bestätigten der Beschwerdeführer und der Beschwerdegegner unter ausdrücklichem Hinweis auf den anders lautenden Handelsregistereintrag, dass sie zu gleichen Teilen, d.h. zu je 50%, Partner und Eigentümer der X._ GmbH seien. Am 26. Juli 2002 übernahm der Beschwerdeführer die Funktion des Geschäftsführers vom Beschwerdegegner. Am 23. September 2004 trat der Beschwerdeführer die Stammeinlage an seinen Bruder F._ ab. Dieser war in der Folge bis zum 20. Oktober 2004 einziger Gesellschafter und Geschäftsführer mit Einzelunterschrift. A.d Im März 2005 entzündete sich zwischen dem Beschwerdegegner und dem Beschwerdeführer ein Streit. Der Beschwerdegegner machte geltend, dass er der tatsächliche Eigentümer der X._ GmbH gewesen sei. Die Stammanteile seien bei der Gründung nur deshalb auf die Namen von D._ und seines Bruders C._ eingetragen worden, weil der Beschwerdegegner über keine Arbeitsbewilligung verfügt habe. Aus dem gleichen Grund sei am 13. März 2000 der Beschwerdeführer im Handelsregister als Alleineigentümer eingetragen worden, obwohl dieser vom Beschwerdegegner lediglich 50% der Stammanteile übernommen habe. In der Folge sei es zwischen den Parteien zu Differenzen gekommen, worauf der Beschwerdeführer den Beschwerdegegner am 26. Juli 2002 im Handelsregister habe streichen lassen. Bis zum 30. August 2004 habe der Beschwerdegegner jedoch weiterhin im Aussendienst des Unternehmens gearbeitet. Am 23. September 2004 habe der Beschwerdeführer schliesslich die Stammanteile des Beschwerdegegners ohne dessen Ermächtigung auf F._ übertragen. Für die verlorenen Vermögens- und Eigentumsansprüche an der Gesellschaft verlangt der Beschwerdegegner Schadenersatz. B. B.a Am 5. Mai 2005 erhob der Beschwerdegegner beim Kreisgericht Rheintal Klage mit dem Begehren, es sei der Beschwerdeführer zur Zahlung eines Betrags von Fr. 50'000.-- an den Beschwerdegegner zu verurteilen. Weiter behielt er sich die "Erhöhung der Forderung während des Verfahrens" vor, "da der genaue Schaden zur Zeit noch nicht beziffert werden" könne, und beantragte, es seien der Beschwerdeführer und die X._ GmbH zu verpflichten, "umgehend sämtliche Geschäftsbücher inklusive Buchhaltung mit allen Bilanzen und Erfolgsrechnungen seit dem 01.01.2000 bis dato zur Einsichtnahme herauszugeben". Anlässlich der Verhandlung vor dem Kreisgericht präzisierte der Beschwerdegegner sein Hauptbegehren und beantragte, es sei der Beschwerdeführer zur Zahlung von "mindestens Fr. 556'903.--" zu verurteilen. Mit Urteil vom 9. Oktober 2008 hiess das Kreisgericht die Klage teilweise gut und verurteilte den Beschwerdeführer zur Zahlung von Fr. 500'000.-- an den Beschwerdegegner. B.b Dagegen legte der Beschwerdeführer am 13. Januar 2009 Berufung beim Kantonsgericht St. Gallen ein mit dem Antrag, es sei das Urteil des Kreisgerichts aufzuheben und die Klage vollständig abzuweisen. Mit Entscheid vom 8. April 2010 hiess das Kantonsgericht die Berufung teilweise gut, verurteilte den Beschwerdeführer zur Zahlung von Fr. 280'000.-- an den Beschwerdegegner und wies die Klage im Mehrbetrag ab. Das Kantonsgericht kam zum Schluss, dass der Beschwerdegegner, obwohl nicht im Handelsregister eingetragen, an der X._ GmbH von deren Gründung bis im September 1999 zu 100% und von diesem Zeitpunkt an zu 50% wirtschaftlich beteiligt war. Zwischen den Parteien habe eine stille Gesellschaft bestanden mit dem Beschwerdeführer als Hauptgesellschafter und dem Beschwerdegegner als stillem Gesellschafter. Der Zweck der stillen Gesellschaft habe darin bestanden, die X._ GmbH als Partner gemeinsam zu führen. Dieser Zweck sei unmöglich geworden, nachdem der Beschwerdeführer am 23. September 2004 die Stammanteile von Fr. 50'000.-- ohne Ermächtigung des Beschwerdegegners an F._ übertragen habe. Da der Beschwerdegegner wirtschaftlich zu 50% an der X._ GmbH beteiligt gewesen sei, sei ihm durch die Veräusserung der Stammanteile an F._ ein Verlust im Umfang der Hälfte des Unternehmenswertes der X._ GmbH entstanden. Dafür habe der Beschwerdeführer einzustehen. Mangels zuverlässiger Buchhaltungsunterlagen und aufgrund des strafrechtlich relevanten Verhaltens des Beschwerdeführers, welches die Beweislage erschwert habe, könne der Unternehmenswert jedoch nicht genau bestimmt werden. Es liege ein eigentlicher Beweisnotstand vor. Aus diesem Grund sei der Schadenersatzanspruch des Beschwerdegegners in Anwendung von Art. 42 Abs. 2 OR ermessensweise zu schätzen. Dabei nahm die Vorinstanz die Bilanz des Jahres 2003 zum Anhaltspunkt und kam gestützt darauf sowie weiteren Überlegungen zum Schluss, dass das Eigenkapital der X._ GmbH im Zeitpunkt der Veräusserung der Stammanteile schätzungsweise Fr. 560'000.-- betragen habe. Der Anspruch des Beschwerdegegners gegenüber dem Beschwerdeführer auf Schadenersatz wegen des Verlusts der Beteiligung betrage somit Fr. 280'000.--. C. Mit Beschwerde in Zivilsachen vom 2. September 2010 beantragt der Beschwerdeführer dem Bundesgericht, es sei das Urteil des Kantonsgerichts aufzuheben und die Klage des Beschwerdegegners abzuweisen. Eventualiter sei die Streitsache zur Neubeurteilung an das Kantonsgericht zurückzuweisen. Weiter sei der Beschwerde die aufschiebende Wirkung zu erteilen. Mit Vernehmlassung vom 11. November 2010 beantragt der Beschwerdegegner die Abweisung der Beschwerde. Gleichzeitig ersucht er um die Gewährung der unentgeltlichen Rechtspflege samt Verbeiständung für das bundesgerichtliche Verfahren sowie darum, der Beschwerde wiedererwägungsweise die aufschiebende Wirkung zu entziehen bzw. eventualiter als vorsorgliche Massnahme den Beschwerdeführer dazu anzuhalten, die Streitforderung von Fr. 280'000.-- inkl. Gerichts- und Parteikosten sicherzustellen. D. Mit Präsidialverfügung vom 4. Oktober 2010 wurde der Beschwerde die aufschiebende Wirkung erteilt. Mit Präsidialverfügung vom 17. November 2010 wurden die Gesuche um Wiedererwägung betreffend der erteilten aufschiebenden Wirkung sowie um Anordnung der Sicherstellung des strittigen Forderungsbetrags als vorsorgliche Massnahme abgewiesen.