Sachverhalt:
A. B._ (Beschwerdegegner) mietete die Liegenschaft am X._weg in Y._, in welcher er im Erdgeschoss wohnte. Mit Untermietvertrag vom 26. April 2005 vermietete er die Zimmer im 1. Obergeschoss und im Dachgeschoss für einen monatlichen Nettomietzins von Fr. 6'300.-- an A._ (Beschwerdeführerin). Diese überliess die Mieträumlichkeiten der von ihr beherrschten Z._ GmbH, welche darin ein Bordell betrieb.
Mit einem an "Z._ GmbH Frau A._" adressierten Schreiben vom 8. März 2006 bestätigte der Beschwerdegegner gegenüber der Beschwerdeführerin, dass er ihr ab 1. Juni 2006 auch die im Erdgeschoss gelegene Zweieinhalbzimmerwohnung sowie die Abstellräume und den abschliessbaren Autounterstand zu einem Gesamtmietzins überlasse. Zudem habe er C._ [der damaligen Geschäftsführerin der Z._ GmbH] gesagt, dass die Bodenbeläge in Küche und im Whirlpoolzimmer erneuert würden. Er werde mit ihr die Durchführung der Arbeiten koordinieren.
Im Schreiben vom 12. Dezember 2006 führte die Beschwerdeführerin gegenüber dem Beschwerdegegner aus, er habe seine Zusicherung, dass sie ab 1. Juni 2006 die gesamte Liegenschaft zu einem zusätzlichen Mietzins von Fr. 1'200.-- mieten könne, nicht eingehalten, weshalb mindestens zwei Freier pro Tag nicht hätten bedient werden können. Dieser Schaden werde mit dem monatlich geschuldeten Mietzins für das Restobjekt verrechnet.
Am 16. Dezember 2006 nahm der Beschwerdegegner die Mieträumlichkeiten für einige Stunden vom Strom- und Wassernetz, um damit die Zahlung ausstehender Mietzinse zu erwirken. Hieraus leitete die Beschwerdeführerin eine Schadenersatzforderung von Fr. 1'780.-- ab, die sie ebenfalls mit ihrer Mietzinsschuld verrechnete.
In der Folge verlangte der Beschwerdegegner von der Beschwerdeführerin Zahlung rückständiger Mietzinse und Nebenkosten unter Fristansetzung nach Art. 257 lit. d OR. Die Beschwerdeführerin verweigerte die Zahlung mit der Begründung, sie schulde zufolge Verrechnung mit Gegenforderungen keinen Mietzins. Hierauf kündigte der Beschwerdegegner das Untermietverhältnis auf den 31. Mai 2007. Das anschliessend durchgeführte Anfechtungsverfahren endete mit einem Ausweisungsentscheid der Kreisgerichtspräsidentin des Kreisgerichts Werdenberg-Sargans vom 2. Juli 2007. Auf den dagegen erhobenen Rekurs der Beschwerdeführerin trat das Kantonsgericht St. Gallen mit Entscheid vom 13. September 2007 nicht ein. Zum Auszug kam es jedoch nicht, weil die Beschwerdeführerin per 1. Oktober 2007 über die gesamte Liegenschaft mit ihrem Eigentümer einen Mietvertrag abschloss.
Am 30. April 2009 trat die Z._ GmbH verschiedene Schadenersatzforderungen "aus dem Betrieb des Erotikstudios" gegenüber dem Beschwerdegegner der Beschwerdeführerin ab.
Mit Begehren vom 15. Mai 2008 liess der Beschwerdegegner die Beschwerdeführerin für ausstehende Mietzinse über Fr. 72'984.35 betreiben, worauf sie Rechtsvorschlag erhob.
B. Am 7. Januar 2009 klagte der Beschwerdegegner nach erfolglos durchgeführtem Schlichtungsverfahren beim Kreisgericht Werdenberg-Sarganserland gegen die Beschwerdeführerin auf Zahlung von Fr. 72'984.35 nebst Zins und Zahlungsbefehlskosten. Ferner beantragte er die Beseitigung des Rechtsvorschlags in der Betreibung Nr. 111._ des Betreibungsamtes Bad Ragaz. Das Kreisgericht Werdenberg-Sarganserland schützte die Klage mit Entscheid vom 22. Oktober 2009 vollumfänglich. Eine dagegen von der Beschwerdeführerin erhobene Berufung wies das Kantonsgericht St. Gallen am 30. August 2010 abgesehen von einer geringfügigen Korrektur der Höhe der Parteientschädigung ab.
C. Die Beschwerdeführerin erhebt Beschwerde in Zivilsachen und subsidiäre Verfassungsbeschwerde mit dem Antrag, den Entscheid des Kantonsgerichts St. Gallen vom 30. August 2010 vollumfänglich aufzuheben. Zudem ersuchte sie um Erteilung der aufschiebenden Wirkung, welche mit Präsidialverfügung vom 27. Oktober 2010 erteilt wurde.
Der Beschwerdegegner schliesst auf Abweisung der Beschwerde, soweit darauf einzutreten sei. Die Vorinstanz hat auf Vernehmlassung verzichtet.
Erwägungen:
1. 1.1 Mit dem blossen Antrag, das angefochtene Urteil aufzuheben, enthält die Beschwerde keinen materiellen Antrag, wie er nach Art. 42 Abs. 1 BGG erforderlich ist. Nach der Rechtsprechung des Bundesgerichtes genügt es indessen, wenn sich aus der Begründung ohne weiteres ergibt, in welchem Sinn das angefochtene Urteil abgeändert werden soll (BGE 125 III 412 E. 1b S. 414 vgl. auch Urteil 9C_848/2009 vom 6. Januar 2010 E. 1.2). So verhält es sich im vorliegenden Fall, da aus der Begründung der Beschwerde eindeutig hervorgeht, dass die Beschwerdeführerin die Abweisung der Klage bewirken möchte.
1.2 Auf die Beschwerde in Zivilsachen kann vorbehältlich rechtsgenügender Begründung eingetreten werden, da sie unter Einhaltung der gesetzlichen Frist (Art. 100 Abs. 1 BGG) und Form (Art. 42 BGG) von der mit ihren Anträgen unterlegenen Partei eingereicht wurde und sich gegen einen von einer letzten kantonalen Instanz (Art. 75 BGG) gefällten Endentscheid (Art. 90 BGG) in Zivilsachen (Art. 72 Abs. 1 BGG) in einer mietrechtlichen Angelegenheit mit einem Streitwert von über Fr. 15'000.-- (Art. 74 Abs. 1 lit. a BGG) richtet.
1.3 Da die Beschwerde in Zivilsachen zulässig ist, ist auf die gleichzeitig erhobene subsidiäre Verfassungsbeschwerde nicht einzutreten (Art. 113 BGG).
2. 2.1 Nach Art. 105 BGG legt das Bundesgericht seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Abs. 1). Es kann diese Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Abs. 2). Die Voraussetzungen für eine Sachverhaltsrüge nach Art. 97 Abs. 1 BGG und für eine Berichtigung des Sachverhalts von Amtes wegen nach Art. 105 Abs. 2 BGG stimmen im Wesentlichen überein. Soweit es um die Frage geht, ob der Sachverhalt willkürlich oder unter verfassungswidriger Verletzung einer kantonalen Verfahrensregel ermittelt worden ist, sind strenge Anforderungen an die Begründungspflicht der Beschwerde gerechtfertigt. Demzufolge genügt es nicht, einen von den tatsächlichen Feststellungen der Vorinstanz abweichenden Sachverhalt zu behaupten. Vielmehr ist in der Beschwerdeschrift darzulegen, inwiefern Feststellungen willkürlich bzw. unter Verletzung einer verfahrensrechtlichen Verfassungsvorschrift zustande gekommen sind. Andernfalls können Vorbringen mit Bezug auf einen Sachverhalt, der von den Feststellungen im angefochtenen Entscheid abweicht, nicht berücksichtigt werden (BGE 133 II 249 E. 1.4.3 S. 254 f. mit Hinweisen).
2.2 Willkür liegt nicht schon dann vor, wenn eine andere als die vom kantonalen Gericht gewählte Lösung ebenfalls vertretbar oder gar vorzuziehen wäre. Willkürlich ist ein Entscheid vielmehr erst, wenn er offensichtlich unhaltbar ist (BGE 132 III 209 E. 2.1 S. 211; 131 I 57 E. 2 S. 61; je mit Hinweisen). Geht es um Beweiswürdigung, ist zu beachten, dass dem Sachgericht insoweit ein weiter Ermessensspielraum zukommt (BGE 120 Ia 31 E. 4b S. 40). Das Bundesgericht greift nur ein, wenn das kantonale Gericht sein Ermessen missbraucht hat, namentlich zu völlig unhaltbaren Schlüssen gelangt ist (BGE 101 Ia 298 E. 5 S. 306; 98 Ia 140 E. 3a S. 142, mit Hinweisen) oder erhebliche Beweise übersehen oder willkürlich nicht berücksichtigt hat (BGE 118 Ia 28 E. 1b S. 30; 112 Ia 369 E. 3 S. 371; 100 Ia 119 E. 127). Dabei rechtfertigt sich die Aufhebung eines Entscheides nur, wenn er nicht nur in einzelnen Punkten der Begründung, sondern auch im Ergebnis willkürlich ist (BGE 131 I 217 E. 2.1 S. 219; 129 I 49 E. 4 S. 58).
3. 3.1 Die Beschwerdeführerin hat im kantonalen Verfahren den Bestand der klägerischen Forderung im Betrage von Fr. 60'384.25 im Grundsatz nicht in Abrede gestellt. Sie machte jedoch geltend, diese Forderung sei im Umfang von Fr. 12'600.-- dadurch getilgt worden, dass in ihrem Auftrag die Geschäftsführerin der Z._ GmbH, C._, am 12. Juni 2006 und 2. August 2006 je Fr. 6'300.-- auf das nachträglich eröffnete Kautionskonto einbezahlt habe. Da die Beschwerdeführerin die Kaution von Fr. 12'600.-- bereits am 24. Mai 2005 auf das Mietzinskonto des Beschwerdegegners überweisen habe, läge Doppelzahlung vor, wenn man auch die später auf das Kautionskonto bezahlten Beträge als Kautionszahlungen betrachten würde. Der Beschwerdegegner räumte ein, dass er das Kautionskonto verspätet errichtet hatte, bestritt jedoch, dass die Kaution zweimal bezahlt worden sei.
3.2 Die Vorinstanz stellte fest, die Beschwerdeführerin habe am 24. Mai 2005 als Kaution Fr. 12'600-- auf das Konto des Beschwerdegegners bezahlt, auf das sie bis Mai 2006 monatlich Fr. 6'300.-- für die Miete überwiesen habe. Am 13. Juni 2006 seien diesem Konto Fr. 6'000.-- gutgeschrieben worden, die laut Angaben des Beschwerdegegners ebenfalls von der Beschwerdeführerin gestammt hätten. Im gleichen Jahr sei im Juli auf dem Konto seitens der Beschwerdeführerin keine Zahlung eingegangen, im August und September je Fr. 4'800.--, im Oktober Fr. 4'415.65 und im November Fr. 6'300.--. Auf dem per 26. Mai 2006 eröffneten Kautionskonto seien am 12. Juni und 2. August 2006 je Fr. 6'300.-- eingegangen. Diese Zahlungen könnten jedoch nicht zweifelsfrei der Beschwerdeführerin zugeordnet werden, da sie die in Aussicht gestellten Zahlungsbelege nicht eingereicht habe. Nicht einmal die das Konto führende Q._ AG habe eruieren können, wer diese beiden Zahlungen vorgenommen habe. Ihre allgemeine Ausführung, wonach bei Bareinzahlungen gewöhnlich nur Mitteilungen angebracht würden, wenn eine Drittperson diese Zahlung ausführt oder dies vom Einzahler gewünscht wird, genüge nicht, um die behaupteten Zahlungen der Beschwerdeführerin bzw. der Geschäftsführerin der Z._ GmbH, C._, nachzuweisen. Auf deren beantragte Befragung könne verzichtet werden, da selbst wenn sie aussagen würde, sie habe die Zahlungen geleistet, nicht sämtliche Zweifel an der Richtigkeit der Darstellung der Beschwerdeführerin ausgeräumt würden.
3.3 Die Beschwerdeführerin rügt, die vorinstanzliche Würdigung der Auskunft der Q._ AG sei nicht nachvollziehbar und verstosse daher gegen das Willkürverbot gemäss Art. 9 BV. Da die Zahlungen vom 12. Juni und 2. August 2006 sicherlich nicht vom überschuldeten Beschwerdegegner stammten und gemäss der Auskunft der Q._ AG bei Bareinzahlungen nicht immer, sondern bloss "gewöhnlich" Mitteilungen angebracht würden wenn eine Drittperson die Einzahlung ausführe oder dies vom Einzahler gewünscht werde, sei wahrscheinlich, dass die Meldung anlässlich der beiden Zahlungen durch C._ vergessen worden sei. So enthalte der Bankauszug des Beschwerdegegners vom 17. Oktober 2007, der alle Zahlungseingänge des Jahres 2006 aufführe, betreffend die Zahlung vom 13. Juni 2006 ebenfalls keine Mitteilung. Dennoch sei diese Zahlung der Beschwerdeführerin angerechnet worden. Bei richtiger Beweiswürdigung hätte die Beschwerdeführerin ihre Beweislast betreffend die doppelt geleistete Kaution erfüllt, weshalb die Vorinstanz auch die Beweislastregel von Art. 8 ZGB willkürlich angewendet habe.
3.4 Aus diesen Ausführungen ergibt sich nicht, weshalb die kritisierte vorinstanzliche Beweiswürdigung geradezu unhaltbar sein soll, zeigt die Beschwerdeführerin doch nicht auf, dass die auf das Kautionskonto geleisteten Einzahlungen unmöglich von einer Drittperson stammen können. Die Rüge der willkürlichen Beweiswürdigung erweist sich damit als unbegründet. Demnach hat die Vorinstanz insoweit auch die Beweislastregel gemäss Art. 8 ZGB nicht verletzt, zumal die Beschwerdeführerin anerkennt, dass sie bezüglich der doppelt geleisteten Kaution beweispflichtig ist.
3.5 Weiter bringt die Beschwerdeführerin in diesem Zusammenhang vor, der Verzicht auf die Einvernahme von C._ als Zeugin verletze Art. 9 BV. Da diese Rüge in keiner Weise begründet wird, ist darauf nicht einzutreten.
4. 4.1 Im kantonalen Verfahren wollte die Beschwerdeführerin die Mietzinsforderung des Beschwerdegegners mit zwei Gegenforderungen von Fr. 125'616.-- und Fr. 209'875.-- verrechnen. Zur Begründung brachte sie vor, der Z._ GmbH sei in dieser Höhe Umsatz entgangen, da der Beschwerdegegner seine Zusicherung der Vermietung weiterer Räumlichkeiten nicht eingehalten habe.
4.2 Die Vorinstanz führte aus, der diesen Verrechnungsforderungen zugrunde liegende Schaden sei nicht der Beschwerdeführerin, sondern der Z._ GmbH entstanden, weshalb zu prüfen sei, ob diese Gesellschaft gegenüber dem Beschwerdegegner insoweit überhaupt anspruchsberechtigt gewesen wäre. Dies sei zu verneinen, da reiner Vermögensschaden in Frage stehe, für den im ausservertraglichen Bereich kein Ersatz gefordert werden könne. Eine vertragliche Ersatzpflicht komme mangels eines Vertragsverhältnisses zwischen dem Beschwerdegegner und der Z._ GmbH nicht in Frage. Das an "Z._, Frau A._" gerichtete Schreiben des Beschwerdegegners vom 8. März 2006 stelle gegenüber der Z._ GmbH keine vertragliche Zusicherung dar. Es sei an die Beschwerdeführerin persönlich gerichtet, und dessen Inhalt betreffe nicht die Z._ GmbH, denn es sei von einem neuen Gesamtmietzins die Rede, der sich nur auf den bereits bestehenden Untermietvertrag zwischen dem Beschwerdegegner und der Beschwerdeführerin beziehen könne.
4.3 Die Beschwerdeführerin wirft der Vorinstanz vor, sie habe das Schreiben des Beschwerdegegners vom 8. März 2006 willkürlich gewürdigt. Sie habe nicht beachtet, dass es sich nicht nur im Briefkopf, sondern auch inhaltlich an die Z._ GmbH gerichtet habe, da es auf ihre damalige Geschäftsführerin C._ Bezug nehme. Ein solcher Bezug ergebe sich auch aus der E-Mail des Beschwerdegegners vom 31. Juli 2006. Wäre die Zusicherung vom 8. März 2006 nur an die Beschwerdeführerin gerichtet gewesen, so wäre C._ nicht erwähnt worden.
4.4 Soweit die Beschwerdeführerin eine von der Vorinstanz nicht erwähnte E-Mail des Beschwerdegegners vom 31. Juli 2006 anführt, ist darauf nicht einzutreten, da sie nicht geltend macht, sich schon vor Vorinstanz darauf berufen zu haben. Auch legt sie nicht dar, weshalb erst das angefochtene Urteil dazu Anlass gab. Ihr Vorbringen ist daher neu und unzulässig (Art. 99 BGG). Soweit sich die Beschwerdeführerin mit dem Schreiben des Beschwerdegegners vom 8. März 2006 befasst, lässt sie ausser Acht, dass die darin ausdrücklich ihr gegenüber zugesicherte Erweiterung des mit ihr abgeschlossenen Untermietvertrages nicht mit der darin ebenfalls erwähnten Koordination von Reparaturarbeiten bezüglich des Mietobjekts zusammenhängt. Da der Beschwerdegegner wusste, dass die Beschwerdeführerin die von ihr gemieteten Räumlichkeiten der Z._ GmbH zum Gebrauch überliess, war es naheliegend die Reparaturarbeiten direkt mit dieser bzw. ihrer Geschäftsführerin zu koordinieren. Daraus kann nicht abgeleitet werden, der Beschwerdegegner sei davon ausgegangen, der Untermietvertrag sei mit der Z._ GmbH abgeschlossen worden. Aus dem angefochtenen Urteil geht sodann nicht hervor, dass sich der Beschwerdegegner stets im Klaren darüber gewesen wäre, dass die Beschwerdeführerin stets als Vertreterin der Z._ GmbH gehandelt hat, wie dies die Beschwerdeführerin in ihrer Beschwerde behauptet. Darauf kann mangels einer rechtsgenüglich begründeten Sachverhaltsrüge nicht abgestellt werden. Demnach erweist sich die gegen die Auslegung des Schreibens des Beschwerdegegners vom 8. März 2006 gerichtete Rüge als unbegründet, soweit darauf einzutreten ist.
5. 5.1 Im kantonalen Verfahren machte die Beschwerdeführerin zudem geltend, die vom Beschwerdegegner am 16. Dezember 2006 vorgenommene Unterbrechung der Strom- und Wasserversorgung habe bei der Z._ GmbH zu einer Umsatzeinbusse von Fr. 1'500.-- geführt, den der Beschwerdegegner ihr zu ersetzen habe.
5.2 Die Vorinstanz erwog, der Beschwerdegegner hafte zwar für den Schaden, den er der Z._ GmbH durch die Störung ihres Besitzes verursacht habe. Jedoch fehle ein schlüssiger Beweis für den behaupteten entgangenen Gewinn von Fr. 1'500.--. Dieser sei nicht nachvollziehbar, zumal die Erfolgsrechnung der Z._ GmbH für das Jahr 2006 einen Bruttogewinn von lediglich Fr. 2'289.25 ausweise. Weshalb der Z._ GmbH ausgerechnet am 16. Dezember 2006 ein Gewinn von Fr. 1'500.-- entgangen sein solle, sei nicht ersichtlich und könnte auch durch die angebotenen Aussagen der Beklagten und von C._ nicht nachgewiesen werden.
5.3 Auch diese Beweiswürdigung gibt die Beschwerdeführerin für willkürlich aus. Sie bringt vor, der nach der Erfolgsrechnung ausgewiesene Tagesumsatz von Fr. 590.-- stelle einen Durchschnitt dar. Die Vorinstanz verkenne, dass die Tagesumsätze der Erotikbetriebe Schwankungen ausgesetzt seien. Es sei gerichtsnotorisch, dass diese Betriebe im Dezember aufgrund der Auszahlungen der 13. Monatslöhne und der Gratifikationen Hochkonjunktur hätten, sodass der durchschnittliche Tagesumsatz in diesem Monat rund dem dreifachen des durchschnittlichen jährlichen Tagesumsatzes entspreche. Im Übrigen hätte die Vorinstanz aus der Sicht der Beschwerdeführerin den Umsatzverlust nach Art. 42 Abs. 2 OR schätzen müssen, da im Erotikbereich für die erbrachten Dienstleistungen keine Quittungen erstellt würden.
5.4 Die Beschwerdeführerin verkennt, dass der Beschwerdegegner selbst bei gegebener Haftung nicht zum Ersatz der Tageseinnahmen, sondern lediglich des am betreffenden Tag entgangenen Gewinns verpflichtet wäre. Dass die Beschwerdeführerin diesbezüglich im kantonalen Verfahren substanziierte Behauptungen aufgestellt und Beweise dazu angeboten hätte, bringt sie nicht vor. Demnach ist die Vorinstanz nicht in Willkür verfallen, wenn sie den entgangenen Gewinn als nicht nachgewiesen erachtete. Auch hat sie Art. 42 Abs. 2 OR nicht verletzt, da eine Schadensschätzung voraussetzt, dass die beweispflichtige Partei alle Umstände, die für die Verwirklichung des behaupteten Sachverhalts sprechen, soweit möglich und zumutbar behauptet und beweist (BGE 128 III 271 E 2b/aa S. 276 f. mit Hinweisen).
6. Insgesamt erweist sich die Beschwerde als unbegründet und ist abzuweisen, soweit darauf eingetreten werden kann. Bei diesem Ausgang des Verfahrens wird die Beschwerdeführerin dafür kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Auf die subsidiäre Verfassungsbeschwerde wird nicht eingetreten.
2. Die Beschwerde in Zivilsachen wird abgewiesen, soweit darauf einzutreten ist.
3. Die Gerichtskosten von Fr. 3'500.-- werden der Beschwerdeführerin auferlegt.
4. Die Beschwerdeführerin hat den Beschwerdegegner für das bundesgerichtliche Verfahren mit Fr. 4'500.-- zu entschädigen.
5. Dieses Urteil wird den Parteien und dem Kantonsgericht St. Gallen, III. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 17. November 2010
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Der Gerichtsschreiber:
Klett Gelzer