Sachverhalt:
A. Die Genossenschaft Y._ (Beschwerdegegnerin) realisierte in Z._ eine Wohnüberbauung mit 44 Wohnungen in vier Mehrfamilienhäusern sowie einer unterirdischen Einstellhalle. Anlässlich der Generalversammlung der Genossenschaft vom 25. April 2007 erklärten die Genossenschafter A._ (Beschwerdeführer 1) und X._ AG (Beschwerdeführerin 2) sowie die Genossenschafter B. und C. X._ den Austritt aus der Genossenschaft. Das Protokoll hält in diesem Zusammenhang folgenden Beschluss fest:


"Die Generalversammlung beschliesst Folgendes:
- A._, B. X._, C. X._ und die X._ AG treten per heutigem Datum und per Saldo aller Ansprüche aus der Genossenschaft aus.
- A._ und B. X._ kaufen je 2 der unverkauften Einstellhallenplätze für je CHF 5'000.-- pro Einstellhallenplatz."
Im Frühjahr 2008 offerierte die Genossenschaft die noch unverkauften Einstellhallenplätze den Eigentümern der Überbauung für Fr. 12'500.-- pro Platz zum Kauf. Die Einstellhallenplätze wurden in der Folge wie angeboten verkauft.
B. B.a Am 4. Juli 2008 reichten die Beschwerdeführer sowie B. und C. X._ beim Amtsgericht Olten-Gösgen Klage ein mit dem Rechtsbegehren, es sei die Beschwerdegegnerin zu verpflichten, dem Beschwerdeführer 1 und B. X._ je Fr. 40'000.-- nebst Zins zu 5% seit dem 1. Mai 2008 zu bezahlen.
In ihrer Klagebegründung führten die Kläger aus, die Beschwerdegegnerin habe sich schadenersatzpflichtig gemacht, indem sie die vier Einstellhallenplätze nicht ihnen, sondern an Dritte veräussert habe. Der Schaden ergebe sich aus der Differenz zwischen dem in den Verkaufsprospekten angegebenen Preis von Fr. 25'000.-- pro Platz und dem an der Generalversammlung genannten Betrag von Fr. 5'000.--. Der Schaden belaufe sich somit auf Fr. 20'000.-- pro Garagenplatz.
Mit Urteil vom 1. Dezember 2009 wies das Amtsgericht Olten-Gösgen die Klage der Beschwerdeführerin 2 und von C. X._ aufgrund fehlender Aktivlegitimation ab (Ziff. 1 des Dispositivs). Demgegenüber verurteilte es die Beschwerdegegnerin dazu, dem Beschwerdeführer 1 und B. X._ je Fr. 20'000.-- zuzüglich Zins zu 5% seit dem 8. Mai 2008 zu bezahlen (Ziff. 2). Die Parteikosten wurden wettgeschlagen (Ziff. 3). Die Gerichtskosten von total Fr. 7'200.-- auferlegte das Amtsgericht je hälftig unter solidarischer Haftbarkeit dem Beschwerdeführer 1 und B. X._ einerseits und der Beschwerdegegnerin andererseits (Ziff. 4).
B.b Gegen die Ziffern 2 und 4 des Urteils des Amtsgerichts erhob die Beschwerdegegnerin Appellation beim Obergericht des Kantons Solothurn. Am 16. April 2010 präzisierte sie auf entsprechendes Ersuchen des Präsidenten der Zivilkammer hin, ihre Appellation richte sich auch gegen die Beschwerdeführerin 2 und C. X._ und es werde eine Änderung des Kostenentscheids zu deren Ungunsten verlangt. Die Beschwerdeführer sowie B. und C. X._ erklärten ihrerseits die Anschlussappellation gegen die Ziffern 3 und 4 (Kostenverlegung). Die Abweisung der Klage gegenüber der Beschwerdeführerin 2 und C. X._ (Ziffer 1 des erstinstanzlichen Urteils) blieb unangefochten. Am 8. April 2010 verfügte der Präsident der Zivilkammer, ohne Gegenbericht des Rechtsvertreters der Kläger und Anschlussappellanten bis 29. April 2010 werde davon ausgegangen, die Anschlussappellation sei nur im Namen des Beschwerdeführers 1 und von B. X._ erhoben worden. Innert dieser Frist erfolgte keine Rückmeldung.
Mit Urteil vom 31. August 2010 stellte das Obergericht fest, dass die Abweisung der Klage der Beschwerdeführerin 2 und C. X._ in Rechtskraft erwachsen sei (Ziff. 1 des Dispositivs), wies in Gutheissung der Appellation der Beschwerdegegnerin auch die Klagen des Beschwerdeführers 1 und B. X._ ab (Ziff. 2) und auferlegte den Beschwerdeführern sowie B. und C. X._ die Partei- und Gerichtskosten für das erst- und zweitinstanzliche Verfahren (Ziffern 4 bis 6).
Das Obergericht kam zum Schluss, dass das Protokoll der Generalversammlung vom 25. April 2007 dem Inhalt nach einen Vorvertrag zu einem Grundstückkauf enthalte, der aber mangels öffentlicher Beurkundung formungültig sei (<ref-law>). Daraus könnten keine Rechte abgeleitet werden, zumal die Formvorschrift aus Nachlässigkeit nicht beachtet worden sei. Auch eine Haftung der Beschwerdegegnerin aus culpa in contrahendo falle ausser Betracht, da gestützt auf diese nur der Ersatz des negativen Interesses in Frage käme, während mit der Klage das Erfüllungsinteresse bzw. entgangener Gewinn geltend gemacht würde.
C. Mit Beschwerde in Zivilsachen beantragen die Beschwerdeführer dem Bundesgericht, es sei das Urteil des Obergerichts aufzuheben und die Beschwerdegegnerin zu verurteilen, den Beschwerdeführern je Fr. 20'000.-- zuzüglich Zins zu 5% seit dem 8. Mai 2008 zu bezahlen. Eventualiter sei die Sache an die Vorinstanz zurückzuweisen. Im Weiteren beantragen die Beschwerdeführer, es seien sämtliche Partei- und Gerichtskosten für das bundesgerichtliche und die vorinstanzlichen Verfahren vollumfänglich der Beschwerdegegnerin aufzuerlegen.
Die Beschwerdegegnerin und die Vorinstanz schliessen in ihren Vernehmlassungen auf Abweisung der Beschwerde.
Mit Verfügung vom 8. November 2010 wurde der Beschwerde die aufschiebende Wirkung erteilt.
Erwägungen:
1. Das Bundesgericht prüft von Amtes wegen und mit freier Kognition, ob ein Rechtsmittel zulässig ist (<ref-ruling> E. 1 S. 331 mit Hinweisen).
1.1 In vermögensrechtlichen Streitigkeiten, die wie hier weder das Arbeits- noch das Mietrecht betreffen, ist gemäss <ref-law> die Beschwerde in Zivilsachen nur zulässig, wenn der Streitwert mindestens Fr. 30'000.-- beträgt. Dieser bestimmt sich gemäss <ref-law> nach den Begehren, die vor der Vorinstanz streitig geblieben sind. Nicht entscheidend für die Streitwertberechnung ist nach der gesetzlichen Regelung das konkrete Interesse der beschwerdeführenden Partei vor Bundesgericht, mithin der vor Bundesgericht noch streitige Betrag (Urteil 4A_194/2010 vom 17. November 2010 E. 1.2.2 m.H.).
Nach <ref-law> werden mehrere in einer vermögensrechtlichen Sache von Streitgenossen geltend gemachte Begehren zusammengerechnet, sofern sie sich nicht gegenseitig ausschliessen. Diese Regel wurde aus Art. 47 Abs. 1 aOG übernommen und die dazu ergangene Rechtsprechung behält auch unter dem BGG ihre Gültigkeit (Urteile 4A_109/2008 vom 16. April 2008 E. 1.1; 4A_438/2007 vom 29. Januar 2008 E. 1.2). Danach ist die Zusammenrechnung zulässig, sofern die Begehren im kantonalen Verfahren vereinigt wurden und in diesem Verfahren Gegenstand eines einzigen Urteils waren. Bei der subjektiven Klagehäufung müssen die Kläger bzw. die Beklagten darüber hinaus Streitgenossen im Sinn von <ref-law> sein. Nach Abs. 2 lit. b dieser Norm können mehrere Personen in der gleichen Klage als Kläger auftreten oder als Beklagte belangt werden, wenn auf einem im Wesentlichen gleichartigen tatsächlichen und rechtlichen Grund beruhende Ansprüche den Streitgegenstand bilden (<ref-ruling> E. 6a S. 70).
Diese Voraussetzungen sind vorliegend erfüllt: Vor der Vorinstanz war die Klage des Beschwerdeführers 1 und von B. X._ auf Zahlung von je Fr. 20'000.-- zu beurteilen. Die dabei geltend gemachten Ansprüche leiteten die beiden Kläger aus der gleichen Vertragsverletzung durch die Beschwerdegegnerin ab, mithin aus einem gleichartigen tatsächlichen und rechtlichen Grund, womit sie als formelle Streitgenossen zu betrachten und ihre Begehren nach <ref-law> zu addieren sind. Daraus ergeben sich vor der Vorinstanz streitig gebliebene Rechtsbegehren im Umfang von Fr. 40'000.--, womit der Streitwert für die Beschwerde in Zivilsachen erreicht ist.
1.2 Gemäss <ref-law> ist zur Beschwerde in Zivilsachen berechtigt, wer vor der Vorinstanz am Verfahren teilgenommen hat oder keine Möglichkeit zur Teilnahme erhalten hat (lit. a) und durch den angefochtenen Entscheid besonders berührt ist und ein schutzwürdiges Interesse an dessen Aufhebung oder Änderung hat (lit. b). Mit dem angefochtenen Entscheid wurde die Klage des Beschwerdeführers 1 abgewiesen und die Gerichts- und Parteikosten vor erster wie zweiter Instanz zu dessen Lasten verteilt. Der Beschwerdeführer 1 ist damit ohne weiteres zur Beschwerde in Zivilsachen legitimiert.
Demgegenüber wurde die Klage der Beschwerdeführerin 2 bereits in der ersten Instanz abgewiesen. Dagegen hat die Beschwerdeführerin 2 nicht appelliert. Sie ist vor der Vorinstanz lediglich hinsichtlich der Verteilung der Gerichts- und Parteikosten unterlegen und vor Bundesgericht somit nur zur Anfechtung dieses Punktes legitimiert.
1.3 Die Beschwerdeführerin 2 hat sodann weder in der ersten noch in der zweiten Instanz Anträge gegen die Beschwerdegegnerin auf Zahlung von Fr. 20'000.-- an sich selbst gestellt. Soweit mit dem Beschwerdeantrag an das Bundesgericht eine Zahlung an die Beschwerdeführerin 2 verlangt wird, handelt es sich dabei folglich um ein Rechtsbegehren, das erstmals vor Bundesgericht gestellt wird. Ein solches Begehren ist unzulässig, da neu im Sinne von <ref-law>. Darauf ist nicht einzutreten.
1.4 Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (vgl. <ref-ruling> E. 1.4.1 S. 254; <ref-ruling> E. 2.5 S. 262; <ref-ruling> E. 1.4 S. 140). Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind. Es ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen werden (<ref-ruling> E. 2.2.1 S. 389; <ref-ruling> E. 1.4.1 S. 254 mit Hinweisen). Eine qualifizierte Rügepflicht gilt hinsichtlich der Verletzung von Grundrechten und von kantonalem und interkantonalem Recht. Das Bundesgericht prüft eine solche Rüge nur insofern, als sie in der Beschwerde präzise vorgebracht und begründet worden ist (<ref-law>).
Unerlässlich ist mit Blick auf <ref-law>, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Verletzung von Bundesrecht liegt. Die beschwerdeführende Partei soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die sie im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit ihrer Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (vgl. <ref-ruling> E. 2.1 S. 245 f.; <ref-ruling> E. 2a S. 400; <ref-ruling> E. 3 S. 749). Dabei hat die Begründung in der Beschwerdeschrift selbst zu erfolgen; Verweise auf andere Rechtsschriften, insbesondere im kantonalen Verfahren eingereichte, sind unbeachtlich (vgl. <ref-ruling> E. 3.1 S. 399 f.; <ref-ruling> E. 2.3 S. 387 f., je mit Verweisen).
2. Die Beschwerdeführer rügen, die Vorinstanz habe die aus dem rechtlichen Gehör fliessende Protokollierungspflicht verletzt, indem sie namentlich die mündlichen Begründungen der Appellationsanträge nicht protokolliert habe.
2.1 Nach der bundesgerichtlichen Rechtsprechung zu <ref-law> wird der Anspruch auf rechtliches Gehör an einer Gerichtsverhandlung nur dann gewahrt, wenn das Gericht die Ausführungen und Eingaben auch tatsächlich zur Kenntnis nimmt und pflichtgemäss würdigt; dafür besteht nur Gewähr, wenn die Ausführungen und Eingaben der Parteien und allfälliger Dritter (Zeugen, Sachverständige usw.) zu Protokoll genommen werden. Das bedeutet allerdings nicht, dass sämtliche Parteiäusserungen zu protokollieren sind; vielmehr kann sich das Protokoll auf die für die Entscheidfindung im konkreten Fall wesentlichen Punkte beschränken (<ref-ruling> E. 4.3-4.4 S. 478 f.; <ref-ruling> E. 4a S. 390 f.). § 65 der im vorinstanzlichen Verfahren anwendbaren Zivilprozessordnung des Kantons Solothurn vom 11. September 1966 sieht denn auch nicht vor, dass die rechtlichen Ausführungen der Parteien in den Schlussvorträgen zu protokollieren wären. Dies entspricht Art. 235 Abs. 1 Bst. d und Abs. 2 der Schweizerischen Zivilprozessordnung vom 19. Dezember 2008 (ZPO; SR 272), wonach nebst Rechtsbegehren, Anträgen und Prozesserklärungen nur Ausführungen tatsächlicher Natur zu protokollieren sind, und dies nur soweit, als diese nicht in Schriftsätzen enthalten sind (vgl. dazu auch die Botschaft zur Schweizerischen Zivilprozessordnung, BBl 2006 S. 7343, wonach rechtliche Erwägungen im mündlichen Vortrag der Parteien nicht protokolliert werden müssen).
2.2 Entgegen der Auffassung der Beschwerdeführer hat die Vorinstanz durchaus ein auf die wesentlichen Punkte beschränktes Protokoll der Hauptverhandlung vom 31. August 2010 erstellt. Dieses befindet sich auf Seite 2 des angefochtenen Entscheides und enthält Ausführungen zur Anwesenheit der Parteien und ihrer Vertretungen sowie zum Verfahrensablauf. Daraus geht hervor, dass beide Parteien zu Beginn der Hauptverhandlung die Frage nach weiteren Beweisanträgen verneint und der Schliessung des Beweisverfahrens zugestimmt haben. Nach Stellen der (im Protokoll festgehaltenen) Rechtsbegehren haben sich die Parteien sodann zweimal mündlich geäussert. Für die dabei eingenommenen Parteistandpunkte verweist der angefochtene Entscheid "grundsätzlich auf die Akten" (Seite 5). Darin befindet sich eine schriftliche Begründung der Anträge der Beschwerdegegnerin, welche diese anlässlich der Hauptverhandlung eingereicht hat.
Die Beschwerdeführer haben ihrerseits keine schriftliche Begründung ihrer Anträge zu den Akten gereicht, obwohl dies offensichtlich zulässig gewesen wäre. Inhaltlich kann es bei den angeblich zu Unrecht nicht protokollierten Ausführungen der Beschwerdeführer aber ohnehin nur um die mündliche Stellungnahme zu den Appellationsgründen der Beschwerdegegnerin auf Basis der erstinstanzlichen Akten gehen, mithin um rechtliche Äusserungen nach Abschluss des Beweisverfahrens. Wenn die Vorinstanz diese nicht protokolliert hat, bedeutet dies keine Verletzung des rechtlichen Gehörs, zumal der angefochtene Entscheid auf die Standpunkte der Beschwerdeführer immerhin "soweit erforderlich" in den Erwägungen eingeht (Seite 4). Auf den Seiten 4 (in fine) und 5 (E. 3 und 4) befinden sich denn auch kurze Ausführungen zu den Rechtsstandpunkten, welche die Kläger anlässlich der Hauptverhandlung bezüglich der Frage eines Abfindungsanspruchs gemäss Art. 864 f. OR bzw. eines "Gewinnanspruchs" eingenommen haben. Entgegen der Behauptung der Beschwerdeführer hat die Vorinstanz dabei den Klägern keineswegs unterstellt, diese hätten "die Fehlerhaftigkeit der erstinstanzlichen Begründung anerkannt", sondern ausgeführt, dass die Kläger keinen Gewinnanspruch geltend gemacht hätten. Dass dies unzutreffend sei, machen die Beschwerdeführer nicht geltend.
3. Die Beschwerdeführer richten sich sodann in mehreren Punkten gegen die vorinstanzlichen Sachverhaltsfeststellungen.
3.1 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 1.5). Die Beschwerdeführer, welche die Sachverhaltsfeststellungen der Vorinstanz anfechten wollen, können sich nicht damit begnügen, den bestrittenen Feststellungen eigene tatsächliche Behauptungen gegenüberzustellen oder darzulegen, wie die Beweise ihrer Ansicht nach zu würdigen gewesen wären. Vielmehr haben sie klar und substanziiert aufzuzeigen, inwiefern die gerügten Feststellungen bzw. die Unterlassung von Feststellungen offensichtlich unrichtig sind oder auf einer Rechtsverletzung im Sinne von <ref-law> beruhen (vgl. <ref-ruling> E. 1.4.3; <ref-ruling> E. 7.1). Soweit die Beschwerdeführer den Sachverhalt ergänzen wollen, haben sie mit detaillierten Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht haben (Urteile 4A_214/2008 vom 9. Juli 2008 E. 1.2, nicht publ. in: <ref-ruling>; 4A_470/2009 vom 18. Februar 2010 E. 1.2).
3.2 Diese Grundsätze verkennen die Beschwerdeführer in mehrerer Hinsicht:
3.2.1 Sie werfen der Vorinstanz vor, von einem "unzutreffenden und unvollständigen Sachverhalt" ausgegangen zu sein. Der angefochtene Entscheid enthalte keine Feststellungen darüber, wann genau die vier Einstellhallenplätze verkauft worden seien, obwohl aus den Akten der Beschwerdegegnerin klar hervorgehe, dass die Verkäufe am 29. Mai 2008 bzw. am 30. Juni 2008 stattgefunden hätten. Weiter erwähne der angefochtene Entscheid auch nicht, dass die Beschwerdegegnerin "von unterzeichnendem Anwalt nachweislich erstmals am 8. Mai 2008 aufgefordert wurde die Tiefgaragenplätze den Klägern zu veräussern".
Dass sie diese Sachverhaltselemente mit entsprechenden Behauptungen und tauglichen Beweismitteln bereits in den vorinstanzlichen Verfahren prozesskonform eingebracht hätten, vermögen die Beschwerdeführer aber nicht darzutun. Ein pauschaler Hinweis auf die im kantonalen Verfahren eingereichten Rechtsschriften ist dazu nicht ausreichend. Auf diese Rüge ist mangels hinreichender Begründung nicht einzutreten.
3.2.2 Schliesslich machen die Beschwerdeführer geltend, dass die austretenden Genossenschafter die Übertragung der Tiefgaragenplätze zur Bedingung für ihren Austritt gemacht hätten. Die gegenteilige Feststellung der Vorinstanz, wonach der Austrittsbeschluss unter keiner Bedingung gestanden habe, sei "haltlos".
Auch dieser sachverhaltliche Einwand bleibt gänzlich ohne Begründung, zumal sich die Beschwerdeführer mit der vorinstanzlichen Beweiswürdigung, namentlich mit dem Hinweis auf den Wortlaut des GV-Protokolls und dessen vorbehaltlose Unterzeichnung durch B. X._, nicht einmal im Ansatz auseinander setzen. Darauf ist ebenfalls nicht einzutreten.
4. In materiellrechtlicher Hinsicht machen die Beschwerdeführer sinngemäss geltend, die Beschwerdegegnerin sei trotz fehlender öffentlicher Beurkundung an den Vorvertrag über den Verkauf der Einstellhallenplätze gebunden, weil die Berufung auf einen Formmangel rechtsmissbräuchlich sei. Da die Übertragung der Garagen bewusst vereitelt worden sei, hafte die Beschwerdegegnerin "als Vertragspartnerin für den damit bewirkten Schaden aus <ref-law> und <ref-law>".
Zur Begründung dieser Rüge führen die Beschwerdeführer Tatsachenelemente an, welche im angefochtenen Entscheid keine Stütze finden. Damit sind sie mangels dazu erhobener, tauglicher Sachverhaltsrügen nicht zu hören (oben E. 3.2.1). Zudem setzen sie sich mit den vorinstanzlichen Erwägungen betreffend Rechtsmissbrauch nicht auseinander und gehen insbesondere auch mit keinem Wort auf die Erwägung ein, wonach der geltend gemachte Schadensposten nicht gestützt auf die culpa in contrahendo ersetzt werden könne. Mit ihren materiellrechtlichen Ausführungen verfehlen die Beschwerdeführer die minimalen Begründungsanforderungen gemäss <ref-law> und sind damit nicht zu hören.
5. Schliesslich werfen die Beschwerdeführer der Vorinstanz zu Unrecht vor, diese habe den Grundsatz der Rechtsanwendung von Amtes wegen (iura novit curia) verletzt. Denn entgegen ihrer Behauptung trifft nicht zu, dass sich die Vorinstanz mit den Erwägungen der ersten Instanz bezüglich eines angeblichen "Gewinnanspruchs" nicht auseinandergesetzt hat, weil die Beschwerdeführer die Unrichtigkeit dieser Erwägungen "anerkannt" hätten. Die Vorinstanz hat vielmehr ausgeführt, dass die Kläger zu keinem Zeitpunkt das Bestehen eines wie auch immer gearteten "Gewinnanspruchs" behauptet hätten, was die Beschwerdeführer auch vor Bundesgericht nicht in Abrede stellen. Über das Fehlen entsprechender Tatsachenbehauptungen hilft aber auch der Grundsatz der Rechtsanwendung von Amtes wegen nicht hinweg, verpflichtet dieser das Gericht doch einzig, die zutreffenden Rechtssätze auf den Sachverhalt anzuwenden, wie er unter der Herrschaft der Verhandlungs- und Dispositionsmaxime von den Parteien behauptet und bewiesen worden ist (<ref-ruling> E. 1 S. 465). Ohne entsprechende Tatsachenbehauptungen brauchte die Vorinstanz das Bestehen eines "Gewinnanspruchs" mithin nicht zu prüfen. Dass sich ein "Gewinnanspruch" gestützt auf den festgestellten Sachverhalt ableiten liesse, machen die Beschwerdeführer im Übrigen auch vor Bundesgericht nicht geltend.
6. Schliesslich kritisieren die Beschwerdeführer die Verlegung der Verfahrenskosten in den kantonalen Verfahren. Dabei verkennen sie, dass sich diese nach § 101 der Zivilprozessordnung des Kantons Solothurn richtet und die Anwendung und Auslegung des kantonalen Zivilprozessrechts vom Bundesgericht einzig unter dem Blickwinkel eines Verstosses gegen Bundesrecht bzw. gegen Bundesverfassungsrecht überprüft werden kann (<ref-law>; <ref-ruling> E. 2.4; <ref-ruling> E. 1.2 S. 382 f.), was das Vorbringen qualifiziert begründeter Rügen voraussetzt (oben E. 1.4). Der qualifizierten Begründungspflicht nach <ref-law> werden die Beschwerdeführer mit einem blossen Hinweis auf <ref-law> aber nicht gerecht, weshalb auf ihre Kritik an der Kostenverlegung mangels hinreichend substanziierter Verfassungsrügen nicht einzutreten ist.
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'000.-- werden den Beschwerdeführern unter solidarischer Haftbarkeit auferlegt.
3. Die Beschwerdeführer haben die Beschwerdegegnerin für das bundesgerichtliche Verfahren unter solidarischer Haftbarkeit mit Fr. 2'500.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Solothurn, Zivilkammer, schriftlich mitgeteilt.
Lausanne, 31. Januar 2011
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Der Gerichtsschreiber:
Klett Hurni