Sachverhalt:
A. A.a Im Mai 2007 schlossen B. Y._ (Beschwerdeführerin 2) und ihr Ehemann D. Y._ mit C. Z._ (Beschwerdegegner) einen als "Darlehensvertrag" bezeichneten Vertrag. Der Vertrag war am 8. Mai 2007 vom Ehepaar Y._ und am 11. Mai 2007 vom Beschwerdegegner unterzeichnet worden und lautet wie folgt:
"Hiermit bestätigt der Darlehensnehmer C. Z._ [...] von Darlehensgeber D. und B. Y._ ein Darlehen in der Höhe von Fr. 35'000.00 erhalten zu haben.
Der Darlehensnehmer verpflichtet sich, das Darlehen in 10 monatlichen Raten von je Fr. 3'500.00 bis zum 5. Mai 2008 zurückzuzahlen. Die erste Rückzahlung erfolgt am 5. August 2007.
Eine vorzeitige Rückzahlung ist jederzeit möglich.
C. Z._ verpflichtet sich das Darlehen mit 6% zu verzinsen. Der angerechnete Zins ist jeweils mit den monatlichen Raten zu entrichten."
A.b Da der Beschwerdegegner keine Ratenzahlungen leistete, setzte das Ehepaar Y._ die ersten sechs Raten der Monate August 2007 bis und mit Januar 2008 in der Höhe von insgesamt Fr. 21'000.-- in Betreibung. Der gegen den zugestellten Zahlungsbefehl erhobene Rechtsvorschlag des Beschwerdegegners wurde durch den Einzelrichter des Kreisgerichts Gaster-See (heute: See-Gaster) beseitigt. Es ist nicht bekannt, ob diese Betreibung fortgesetzt wurde.
A.c Da die verbleibenden vier Raten der Monate Februar bis Mai 2008 in der Höhe von insgesamt Fr. 14'000.-- ebenfalls unbezahlt blieben, setzte das Ehepaar Y._ auch diesen Betrag in Betreibung. Erneut erhob der Beschwerdegegner Rechtsvorschlag gegen den Zahlungsbefehl. Während der Hängigkeit des daraufhin eingeleiteten Rechtsöffnungsverfahren verstarb D. Y._. Am 5. November 2008 erklärte der Willensvollstrecker A. X._ (Beschwerdeführer 1), das Verfahren namens der Erbengemeinschaft, bestehend aus der Beschwerdeführerin 2 und E. R._, fortzuführen. Mit Entscheid vom 3. Dezember 2008 beseitigte der Einzelrichter des Kreisgerichts Gaster-See den Rechtsvorschlag des Beschwerdegegners und erteilte den Beschwerdeführern die provisorische Rechtsöffnung.
B. B.a Am 6. April 2009 erhob der Beschwerdegegner beim Kreisgericht See-Gaster Klage mit dem Begehren, es sei die Forderung der Beschwerdeführer in der Höhe von Fr. 14'000.--, für welche diese die provisorische Rechtsöffnung erhalten hatten, sowie die im Rechtsöffnungsverfahren entstandene Forderung der Beschwerdeführer in der Höhe von Fr. 1'070.--, bestehend aus den Zahlungsbefehlskosten, den Gerichtskosten und der Parteientschädigung, abzuerkennen. Mit Entscheid vom 23. April 2010 hiess der Einzelrichter des Kreisgerichts See-Gaster die Klage teilweise gut und aberkannte die Forderung der Beschwerdeführer in der Höhe von Fr. 14'000.--.
B.b Gegen diesen Entscheid erhoben die Beschwerdeführer mit Eingabe vom 7. Juli 2010 Berufung an das Kantonsgericht St. Gallen mit dem Begehren, es sei das Urteil des Einzelrichters des Kreisgerichts See-Gaster vom 23. April 2010 aufzuheben und die Aberkennungsklage des Beschwerdegegners abzuweisen. Mit Entscheid vom 23. Dezember 2010 wies das Kantonsgericht St. Gallen die Berufung ab und bestätigte den erstinstanzlichen Entscheid.
C. Mit subsidiärer Verfassungsbeschwerde vom 31. Januar 2011 beantragen die Beschwerdeführer dem Bundesgericht, es sei das Urteil des Kantonsgerichts St. Gallen vom 23. Dezember 2010 aufzuheben und die Aberkennungsklage des Beschwerdegegners abzuweisen.
Der Beschwerdegegner schliesst in seiner Vernehmlassung auf Abweisung der Beschwerde, soweit darauf einzutreten ist. Gleichzeitig beantragt er die Gewährung der unentgeltlichen Rechtspflege samt Verbeiständung für das bundesgerichtliche Verfahren. Die Vorinstanz hat auf eine Vernehmlassung verzichtet.
D. Mit Präsidialverfügung vom 1. März 2011 wurde das Gesuch der Beschwerdeführer um Gewährung der aufschiebenden Wirkung abgewiesen.

Erwägungen:
1. Die von den Beschwerdeführern erhobene subsidiäre Verfassungsbeschwerde ist zulässig gegen Entscheide letzter kantonaler Instanzen, soweit keine Beschwerde nach den Artikeln 72-89 BGG zulässig ist (Art. 113 BGG). Die Beschwerdeführer anerkennen, dass der für die Beschwerde in Zivilsachen notwendige Streitwert nicht gegeben ist (Art. 74 Abs. 1 lit. b BGG) und sich keine Rechtsfrage von grundsätzlicher Bedeutung (Art. 74 Abs. 2 lit. a BGG) stellt. Die Beschwerde in Zivilsachen ist daher nicht gegeben. Die Vorinstanz hat als letzte kantonale Instanz endgültig entschieden (Art. 114 i.V.m. Art. 75 und Art. 90 BGG). Die Beschwerdeführer haben am Verfahren vor der Vorinstanz teilgenommen (Art. 115 lit. a BGG) und rügen die Verletzung verfassungsmässiger Rechte (Art. 116 BGG). Die Beschwerdefrist ist eingehalten (Art. 117 i.V.m. Art. 100 Abs. 1 und Art. 46 Abs. 1 lit. c BGG). Auf die subsidiäre Verfassungsbeschwerde ist somit unter Vorbehalt einer rechtsgenüglichen Begründung (Art. 117 i.V.m. Art. 106 Abs. 2 BGG) einzutreten.
2. Die Beschwerdeführer rügen, die Vorinstanz habe den Sachverhalt offensichtlich unrichtig festgestellt bzw. die Beweismittel willkürlich gewürdigt und damit Art. 9 BV verletzt. Der Beschwerdegegner habe zwei Gründe für sein Begehren um Aberkennung der Forderung der Beschwerdeführer vorgebracht. Erstens sei der Darlehensvertrag vom 8./11. Mai 2007 simuliert. Zweitens habe er den Darlehensbetrag von Fr. 35'000.-- nicht erhalten. Die Vorinstanz habe zutreffend festgestellt, dass es sich beim von den Parteien geschlossenen Vertrag um einen Darlehensvertrag handle. Mit dieser Vertragsqualifikation habe die Vorinstanz zum Ausdruck gebracht, dass alle Einwendungen des Beschwerdegegners, die auf den Beweis der Simulation gerichtet gewesen seien, unbegründet seien. Dennoch sei die Vorinstanz bei der Beurteilung der Frage, ob die Darlehenssumme ausgehändigt worden sei, wiederum auf die Ausführungen des Beschwerdegegners zur Simulation zurückgekommen. Die Vorinstanz habe zwar zutreffend festgehalten, dass die im Vertrag vom 8./11. Mai 2007 enthaltene Quittung über den Erhalt des Betrags von Fr. 35'000.-- eine natürliche Vermutung für die Hingabe des Darlehens begründe. Nach Ansicht der Vorinstanz habe der Beschwerdegegner mit seinen Ausführungen indessen den Gegenbeweis gegen diese natürliche Vermutung erbracht. Dabei gehe die Vorinstanz plötzlich davon aus, es liege statt einem Darlehensvertrag nun doch ein Kaufvertrag vor, wobei sie ausführe, der Vertrag sei eine "Vereinbarung eines abzuzahlenden, runden Betrages von Fr. 35'000.00" im Sinne "des Anliegens der Gesamtbereinigung". Die Vorinstanz habe somit durch eine willkürliche Kehrtwende in der Tatsachen- und Beweiswürdigung den bereits widerlegten Einwand der angeblichen Simulation bei der Einwendung des Beschwerdegegners, er habe den Darlehensbetrag nicht ausgehändigt erhalten, erneut berücksichtigt. Auch bei der Schlussfolgerung, der Beschwerdegegner habe den Gegenbeweis gegen die natürliche Vermutung für die Hingabe des Darlehens erbracht, sei die Vorinstanz in Willkür verfallen. Die Argumente des Beschwerdegegners, welche nicht die Simulation betreffen würden, seien unbeachtlich und/oder offensichtlich haltlos. Willkürlich sei auch die Feststellung der Vorinstanz, wonach die Motivlage des Ehepaars Y._, dem Beschwerdegegner ein Darlehen zu gewähren, überhaupt nicht dargetan sei. Die Motivation zur Darlehensgewährung habe darin bestanden, den Beschwerdegegner als Geschäftsführer der gemeinsamen Unternehmung Q._ GmbH zu unterstützen. Dies im Hinblick auf die weitere Zusammenarbeit und auf das künftige Gedeihen des jungen Unternehmens.
2.1 Mit der subsidiären Verfassungsbeschwerde kann die Verletzung von verfassungsmässigen Rechten gerügt werden (Art. 116 BGG). Das Bundesgericht prüft die Verletzung verfassungsmässiger Rechte jedoch nur, wenn diese Rüge gemäss den Anforderungen von Art. 106 Abs. 2 BGG ausdrücklich vorgebracht und klar und detailliert begründet wird (<ref-ruling> E. 2.1; <ref-ruling> E. 2.1; <ref-ruling> E. 3.2 S. 444).
Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 118 BGG). Es kann davon nur abweichen, wenn die Sachverhaltsfeststellung unter Verletzung eines verfassungsmässigen Rechts zustande kam (Art. 118 Abs. 2 und Art. 116 BGG), was der Beschwerdeführer mit einer den genannten Anforderungen genügenden Begründung geltend zu machen hat (Art. 117 i.V.m. Art. 106 Abs. 2 BGG; <ref-ruling> E. 2.2; <ref-ruling> E. 3.2 S. 445 mit Hinweis).
Zu beachten ist, dass dem Sachgericht im Bereich der Beweiswürdigung ein erheblicher Ermessensspielraum zusteht (<ref-ruling> E. 4b S. 40). Das Bundesgericht greift auf Beschwerde hin nur ein, wenn das Sachgericht sein Ermessen missbraucht, insbesondere offensichtlich unhaltbare Schlüsse zieht, erhebliche Beweise übersieht oder solche willkürlich ausser Acht lässt (vgl. <ref-ruling> E. 2.1; <ref-ruling> E. 2.1; <ref-ruling> E. 4b S. 40 mit Hinweisen). Inwiefern das kantonale Gericht sein Ermessen im dargelegten Sinn missbraucht haben soll, ist in der Beschwerde klar und detailliert aufzuzeigen (<ref-ruling> E. 2.2; <ref-ruling> E. 1.3). Namentlich genügt es nicht, einzelne Beweise anzuführen, die anders als im angefochtenen Entscheid gewichtet werden sollen, und dem Bundesgericht in appellatorischer Kritik die eigene Auffassung zu unterbreiten, als ob diesem die freie Prüfung aller Tat- und Rechtsfragen zukäme (vgl. <ref-ruling> E. 2b).
2.2 Im vorinstanzlichen Verfahren war unbestritten, dass zwischen den Parteien einst eine geschäftliche Beziehung über die gemeinsame Unternehmung Q._ GmbH bestanden hatte. Diese Gesellschaft war am 23. Mai 2006 ins Handelsregister eingetragen und mit Konkurserkenntnis vom 13. März 2008 wieder aufgelöst worden. Die Q._ GmbH hatte über ein Stammkapital von Fr. 20'000.-- verfügt, wobei die Beschwerdeführerin 2 einen Stammanteil von Fr. 19'000.-- und der Beschwerdegegner einen Stammanteil von Fr. 1'000.-- gehalten hatten. Beide waren sowohl als Gesellschafter als auch als Geschäftsführer im Handelsregister eingetragen gewesen. Umstritten war zwischen den Parteien, ob der Vertrag vom 8./11. Mai 2007 simuliert war und ob dem Beschwerdegegner die Darlehenssumme von Fr. 35'000.-- übergeben worden war.
2.2.1 Der Beschwerdegegner brachte im vorinstanzlichen Verfahren vor, die Tätigkeit der Q._ GmbH habe auf seiner Geschäftsidee beruht. Das Ehepaar Y._ habe zur Förderung der Idee die Gründung dieser Unternehmung vorgeschlagen, das Stammkapital von Fr. 20'000.-- sowie später ein Darlehen von Fr. 10'000.-- eingebracht. Dem Beschwerdegegner sei zudem ein Betrag von Fr. 5'000.-- für eine private Mietzinskaution zur Verfügung gestellt worden, dies offenbar durch die Q._ GmbH. Beim Vertrag vom 8./11. Mai 2007 sei es darum gegangen, dass der Beschwerdegegner diese Beträge von insgesamt Fr. 35'000.-- an das Ehepaar Y._ zurückführe und sodann die Q._ GmbH übernehme. Dazu sei es nicht mehr gekommen, nachdem es zwischen den Parteien zum Bruch und zum Ausscheiden des Beschwerdegegners aus der Unternehmung gekommen sei.
2.2.2 Die Beschwerdeführerin 2 führte demgegenüber anlässlich einer Beweisaussage vom 18. Februar 2010 aus, der Beschwerdegegner habe das Ehepaar Y._ im April 2007 um ein Darlehen ersucht. Die Beschwerdeführerin 2 habe ihrem Ehemann abgeraten, da "wir" (gemäss Vorinstanz habe sie damit wohl die Q._ GmbH gemeint) bereits im Minus gewesen seien. Einige Tage später seien zwei "Deutsche Männer", "grosse, glatzköpfige Männer" in einem Mercedes vorgefahren und "ins Restaurant" gekommen und hätten die Wirtin darauf angesprochen, dass bei den Z._ niemand öffne, obwohl Licht brenne. Die Beschwerdeführerin 2 habe darauf den Beschwerdegegner gefragt, was los sei. Dieser habe von Schulden aus einem früheren Gastgewerbebetrieb gesprochen, für deren Begleichung er das Darlehen benötige. Könne er nicht bezahlen, machten ihm die Männer "die Hölle heiss", resp. "ihn kalt". Da habe die Beschwerdeführerin 2 mit ihrer Tochter, welche einen PC besitze, den Vertrag aufgesetzt. Sie hätten den Vertrag noch überarbeiten müssen, weil der Beschwerdegegner einen Passus über die mögliche vorzeitige Rückzahlung aufgenommen haben wollte, da er zeitnah von seinem Bruder eine substantielle Zahlung aus der Golfregion erwartet habe. Das Geld habe man dem Beschwerdegegner sodann bar übergeben. Den Betrag von Fr. 35'000.-- habe das Ehepaar Y._ aus einer Barzahlung des Lebenspartners ihrer Tochter von Fr. 22'000.-- vom 5. April 2007 sowie durch einen Bankbezug von Fr. 14'000.-- vom 7. Mai 2007 im Hause gehabt. Auf Wunsch der Beschwerdeführerin 2 habe der Beschwerdegegner darauf gegenüber der Bank eine Privathaftungserklärung für den Minussaldo der Q._ GmbH in der Höhe von Fr. 20'000.-- abgegeben.
2.3 Die Vorinstanz stellte fest, dass mit der Vertragsurkunde vom 8./11. Mai 2007 der Beweis für das Vorliegen eines Darlehensvertrags erbracht sei. Zudem enthalte der Vertrag eine Quittung für die Hingabe der Darlehenssumme von Fr. 35'000.--, welche eine starke natürliche Vermutung für ebendiese Hingabe des Darlehens begründe. Dem Beschwerdegegner, der die Hingabe bestreite, stehe aber der Gegenbeweis offen. Die Vorinstanz erachtete aus mehreren Gründen den Hauptbeweis als erschüttert und damit den Gegenbeweis als erbracht.
2.3.1 Zur Darstellung des Beschwerdegegners führte die Vorinstanz aus, dieser habe bereits früh im Prozessverlauf den Zweck zur Sprache gebracht, welcher aus seiner Sicht gedanklich hinter dem Vertrag vom 8./11. Mai 2007 gestanden habe. Sinngemäss lasse sich aus seiner Darstellung das Anliegen einer Gesamtbereinigung ablesen. Eine solche Gesamtbereinigung hätte für beide Parteien im Mai 2007 durchaus Sinn gemacht. So habe das Ehepaar Y._ zu Ende des Jahres 2006 Kenntnis von der schlechten finanziellen Lage des Beschwerdegegners gehabt. Im Wissen um die finanziellen Probleme des Beschwerdegegners und der Q._ GmbH habe dem Ehepaar Y._ an einem möglichst schlanken Ausstieg aus dem finanziellen Engagement gelegen sein müssen. Dem Beschwerdegegner sei es demgegenüber wichtig gewesen, die Q._ GmbH, für welche er sich im subjektiven Empfinden aufgeopfert habe, übernehmen und die problematisch gewordene Verbindung zum Ehepaar Y._ auflösen zu können. Vor diesem Hintergrund erscheine auch die vom Beschwerdegegner gegenüber der Bank abgegebene Privathaftungserklärung für den Minussaldo der Q._ GmbH stimmig, da mit der Aussicht auf Übernahme des Unternehmens auch ein Antrieb bestehe, sich persönlich zu verpflichten. Mit der Darstellung des Beschwerdegegners lasse sich zudem der zeitliche Ablauf erklären. Im August 2007 sei es zum Bruch der Parteien gekommen und war eine Übernahme der Q._ GmbH durch den Beschwerdegegner in der Folge kein Thema mehr. Es erscheine folgerichtig, dass die Ratenzahlungen aus dem Vertrag vom 8./11. Mai 2007, welche ebenfalls im August 2007 hätten einsetzen sollen, sodann ausgeblieben seien.
2.3.2 Zur Darstellung der Beschwerdeführer führte die Vorinstanz aus, diese hätten sich zu den Umständen der Darlehensgewährung lange Zeit bedeckt gehalten. Der Vertrag selbst weise zwar alle notwendigen Elemente eines Darlehensvertrags inkl. einer Quittung auf, enthalte aber keinerlei Angaben zum Rechtsgrund, Verpflichtungszweck und Modalitäten der Darlehenshingabe. Zu den Hintergründen des Vertragsschlusses hätten sich die Beschwerdeführer bzw. die Beschwerdeführerin 2 lediglich anlässlich der Beweisaussage vom 18. Februar 2010 geäussert. Diese Beweisaussage verfüge zwar über Ankerpunkte ausserhalb des Erzählten, so bestehe beispielsweise eine gewisse Stringenz in den zeitlichen Abläufen. Unklar seien aber etwa die Ausführungen zu der vom Beschwerdegegner angeblich erwarteten Geldzahlung seines Bruders aus der Golfregion. Die Episode mit den von deutschen, glatzköpfigen Männern eingetriebenen Schulden bestreite der Beschwerdegegner gänzlich. Zudem hätten die Beschwerdeführer den gedanklichen Schritt nicht dargetan, der von diesen behaupteten Beobachtungen zur konkreten Darlehenshöhe von Fr. 35'000.-- führe, welche doch relativ genau die Höhe des bisherigen Engagements des Ehepaars Y._ in der Q._ GmbH darstelle. Überhaupt nicht dargetan sei schliesslich die Motivlage des Ehepaars Y._, dem Beschwerdegegner im Mai 2007 überhaupt ein Darlehen zu gewähren. Zu jenem Zeitpunkt hätte das Ehepaar Y._ bereits zumindest Fr. 30'000.-- in die Q._ GmbH investiert und der Beschwerdegegner selbst habe unter verschiedenen Titeln Ausstände über mehrere tausend Franken beim Ehepaar Y._ gehabt. Dem Ehepaar Y._ sei zudem bekannt gewesen, dass sowohl die Q._ GmbH als auch der Beschwerdegegner massive finanzielle Probleme gehabt hätten und als einzige unmittelbare Finanzquelle des Beschwerdegegners sich eine vage, undurchsichtige und als illegal empfundene Transaktion aus einem Erdöl-Geschäft in der Golfregion angeboten habe. Bei dieser Ausgangslage hätte jede ökonomische Vernunft von einer Verdoppelung des Investments abgeraten. Gänzlich unverständlich sei sodann, was das Ehepaar Y._ sich davon hätte versprechen sollen, dass der Beschwerdegegner eine Privathaftungserklärung für den Minussaldo der Q._ GmbH in der Höhe von Fr. 20'000.-- abgebe, wenn es diesem gleichzeitig wegen massiver finanzieller Probleme ein Darlehen von Fr. 35'000.-- gewähre, um ihn vor als lebensbedrohend empfundenen Schuldeneintreibern zu retten. Gering sei schliesslich auch die Überzeugungskraft der von den Beschwerdeführern eingereichten Belege, welche das Vorhandensein der Barsummen von Fr. 22'000.-- ab dem 5. April 2007 und von Fr. 14'000.-- ab dem 7. Mai 2007 nachweisen sollten. Zeitnahe zur angeblichen Aushändigung der Darlehenssumme sei nur der Barbezug von Fr. 14'000.-- erfolgt. Eher unwahrscheinlich sei, dass der Betrag von Fr. 22'000.-- während eines Monates ohne ersichtlichen Zweck im Hause aufbewahrt worden sei. Die Darstellung der Beschwerdeführer sei insgesamt lückenhaft und unplausibel.
2.3.3 Schlussfolgernd räumte die Vorinstanz ein, dass die Darstellung des Beschwerdegegners durchaus nicht frei von Makeln sei. So wäre der vom Beschwerdegegner behauptete dissimulierte Vertrag über weite Strecken ungültig, da etwa die Abtretung von Stammanteilen an einer GmbH zur Gültigkeit der öffentlichen Beurkundung und Zustimmung der Gesellschafter bedurft hätte. Zu beachten sei aber, dass der Vertrag nicht vom Beschwerdegegner aufgesetzt worden sei und dass diesem die Formvorschriften wohl nicht bekannt gewesen seien. Trotz bestehender Mängel vermöge die Darstellung des Beschwerdegegners aber den Hauptbeweis zu erschüttern. Die Ausführungen des Beschwerdegegners seien weder mathematisch noch juristisch vollständig korrekt, indessen lebensnah, authentisch und nachvollziehbar. Die in der vage gehaltenen Quittung begründete Vermutung der Darlehenshingabe sei aufgrund des vom Beschwerdegegner geführten Gegenbeweises mit grundsätzlichen, nicht leichthin überwindbaren Zweifeln behaftet. Die Vorinstanz kam damit zum Schluss, der Nachweis der Darlehenshingabe gelinge den Beschwerdeführern nicht.
2.4 Es trifft zu, dass die Vorinstanz gestützt auf die Vertragsurkunde vom 8./11. Mai 2007 den zwischen den Parteien geschlossenen Vertrag als Darlehensvertrag qualifizierte. Entgegen der Ansicht der Beschwerdeführer schliesst dies jedoch nicht aus, dass der Darlehensvertrag simuliert war. Zu einer allfälligen Simulation bzw. zum dieser Behauptung zugrunde liegenden Sachverhalt hat sich die Vorinstanz bei der rechtlichen Qualifikation des Vertrags mithin gar nicht geäussert. Die diesbezüglichen Vorbringen des Beschwerdegegners würdigte die Vorinstanz vielmehr erst bei der Prüfung der Frage, ob die Darlehenssumme übergeben worden sei. Die Rüge der Beschwerdeführer, wonach die Vorinstanz eine willkürliche Kehrtwende in der Tatsachen- und Beweiswürdigung vorgenommen habe, erweist sich damit als unbegründet.
Soweit die Beschwerdeführer rügen, die Vorinstanz sei auch in Willkür verfallen, indem sie den Gegenbeweis des Beschwerdegegners gegen die natürliche Vermutung für die Hingabe des Darlehens als erbracht erachtet habe, so ist fraglich, ob die Beschwerdeführer in diesem Punkt den Begründungsanforderungen genügen. So setzen sich die Beschwerdeführer insbesondere bei ihrer Kritik an der Feststellung der Vorinstanz, wonach die Motivlage des Ehepaars Y._ zur Gewährung eines Darlehens überhaupt nicht dargetan sei, nicht mit dem vorinstanzlichen Urteil auseinander, sondern begnügen sich mit der Darstellung ihrer eigenen Sichtweise. Ob und gegebenenfalls wie weit die Ausführungen der Beschwerdeführer im Übrigen über eine appellatorische Kritik hinausgehen, kann allerdings offen bleiben, da sich die Rüge ohnehin als unbegründet erweist. Die Vorinstanz hat sich ausführlich sowohl mit den Vorbringen der Beschwerdeführer als auch mit den Vorbringen des Beschwerdegegners befasst. In einer differenzierten Abwägung hat die Vorinstanz insbesondere auch die Schwächen der Darstellung des Beschwerdegegners aufgegriffen und hat sodann aber nachvollziehbar begründet, weshalb diese trotzdem den Hauptbeweis zu erschüttern vermöge. Die vorinstanzliche Beweiswürdigung hält einer Willkürprüfung somit stand, womit sich auch diese Rüge als unbegründet erweist, soweit darauf einzutreten ist.
3. Nach dem Gesagten ist die Beschwerde abzuweisen, soweit darauf einzutreten ist. Bei diesem Verfahrensausgang werden die Beschwerdeführer kosten- und entschädigungspflichtig (Art. 66 Abs. 1 sowie Art. 68 Abs. 2 BGG).
Das Gesuch des Beschwerdegegners um unentgeltliche Rechtspflege wird damit in Bezug auf die Gerichtskosten gegenstandslos. Dies gilt jedoch nicht in Bezug auf die unentgeltliche Verbeiständung, da dem Rechtsvertreter des Beschwerdegegners im Fall seiner Bestellung als amtlicher Vertreter bei Uneinbringlichkeit der Parteientschädigung aus der Bundesgerichtskasse ein Honorar bezahlt werden müsste (Art. 64 Abs. 2 BGG; <ref-ruling> E. 3). Da die gesetzlichen Voraussetzungen erfüllt sind (Art. 64 Abs. 1 und 2 BGG), ist das Gesuch daher insoweit gutzuheissen.

Demnach erkennt das Bundesgericht:
1. Das Gesuch des Beschwerdegegners um unentgeltliche Rechtspflege wird gutgeheissen, soweit es nicht gegenstandslos geworden ist, und es wird ihm Rechtsanwalt Daniel Perret als amtlicher Vertreter bestellt.
2. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
3. Die Gerichtskosten von Fr. 2'000.-- werden den Beschwerdeführern (unter solidarischer Haftbarkeit und intern zu gleichen Teilen) auferlegt.
4. Die Beschwerdeführer haben den Beschwerdegegner für das bundesgerichtliche Verfahren (unter solidarischer Haftbarkeit und intern zu gleichen Teilen) mit Fr. 2'500.-- zu entschädigen. Im Fall der Uneinbringlichkeit der Parteientschädigung wird Rechtsanwalt Daniel Perret als amtlichem Vertreter des Beschwerdegegners aus der Bundesgerichtskasse ein Honorar von Fr. 2'500.-- ausgerichtet.
5. Dieses Urteil wird den Parteien und dem Kantonsgericht St. Gallen, III. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 12. April 2011
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Die Gerichtsschreiberin:
Klett Schreier