Sachverhalt:
A. A._ (Beschwerdeführer) ist seit Oktober 1999 Mieter einer Wohnung in der Liegenschaft Y._gasse in Z._, deren Eigentümerin die X._ AG (Beschwerdegegnerin) ist. Mit Brief vom 16. April 2008 und danach erneut mit Brief vom 23. Juli 2008 mahnte die Q._ AG - als Vertreterin der Beschwerdegegnerin - den Beschwerdeführer wegen angeblicher Zahlungsausstände von Fr. 5'093.50 bzw. Fr. 5'377.30 und drohte ihm für den Fall, dass diese nicht innert 30 Tagen beglichen würden, die ausserordentliche Kündigung an. In der Folge liess sie - obschon keine entsprechenden Zahlungen erfolgten - die Sache auf sich beruhen.
Mit Brief vom 21. August 2008 mahnte die Q._ AG den Beschwerdeführer ein drittes Mal wegen offener Mietzinse und Nebenkosten im Gesamtbetrag von nunmehr Fr. 2'650.80 und drohte ihm für den Fall, dass der Ausstand nicht innert 30 Tagen beglichen werde, erneut die ausserordentliche Kündigung an. Da eine Zahlung unterblieb, sprach sie mit Kündigungsformular vom 24. September 2008 per Ende Oktober 2008 die Kündigung aus.
B. Die vom Beschwerdeführer angerufene Schlichtungsstelle entschied am 28. November 2008, die Kündigung sei gültig.
Daraufhin gelangte der Beschwerdeführer am 8. Januar 2009 an den Einzelrichter des Kreisgerichts Alttoggenburg-Wil (heute Kreisgericht Wil) mit dem Begehren, die Kündigung sei aufzuheben. Der Einzelrichter wies die Klage am 11. Dezember 2009 ab und erkannte, die Kündigung vom 24. September 2008 per 31. Oktober 2008 sei gültig.
Dagegen erhob der Beschwerdeführer beim Kantonsgericht St. Gallen Berufung mit dem Antrag, das erstinstanzliche Urteil aufzuheben und die Kündigung vom 24. September 2008 aufzuheben. Mit Entscheid vom 30. August 2010 wies das Kantonsgericht die Berufung ab.
C. Der Beschwerdeführer beantragt dem Bundesgericht mit Beschwerde in Zivilsachen, den Entscheid des Kantonsgerichts vom 30. August 2010 und die Kündigung vom 24. September 2008 aufzuheben.
Die Beschwerdegegnerin beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten sei, und das angefochtene Urteil zu bestätigen. Die Vorinstanz verzichtete auf eine Vernehmlassung.
D. Mit Präsidialverfügung vom 28. Oktober 2010 wurde der Beschwerde die aufschiebende Wirkung erteilt.

Erwägungen:
1. Der angefochtene Entscheid des Kantonsgerichts ist ein verfahrensabschliessender Endentscheid (<ref-law>) einer letzten kantonalen Instanz (<ref-law>). Namentlich war eine Nichtigkeitsbeschwerde an das Kassationsgericht des Kantons St. Gallen ausgeschlossen (Art. 238 lit. c des Zivilprozessgesetzes des Kantons St. Gallen vom 20. Dezember 1990 [sGS a961.2; ZPO/SG]). Sodann übersteigt der Streitwert (Fr. 67'500.--) bei einem monatlichen Mietzins von Fr. 1'875.-- die Grenze nach <ref-law> (vgl. <ref-law> und Urteil 4A_148/2008 vom 18. April 2008 E. 1 mit Hinweisen). Unter Vorbehalt einer rechtsgenüglichen Begründung (Art. 42 Abs. 2 und <ref-law>) ist auf die Beschwerde einzutreten.
2. 2.1 Mit Beschwerde in Zivilsachen können Rechtsverletzungen nach Art. 95 und 96 BGG gerügt werden. Die Beschwerde ist hinreichend zu begründen, andernfalls wird darauf nicht eingetreten. In der Beschwerdeschrift ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt (<ref-law>). Die Verletzung von Grundrechten und von kantonalem und interkantonalem Recht kann das Bundesgericht nur insofern prüfen, als eine solche Rüge in der Beschwerde präzise vorgebracht und begründet worden ist (<ref-law>; <ref-ruling> E. 1.3.1; <ref-ruling> E. 2.2; <ref-ruling> E. 3.2). Macht der Beschwerdeführer eine Verletzung des Willkürverbots (<ref-law>) geltend, genügt es nicht, wenn er einfach behauptet, der angefochtene Entscheid sei willkürlich. Er hat vielmehr im Einzelnen aufzuzeigen, inwiefern dieser offensichtlich unhaltbar ist (<ref-ruling> E. 3 S. 352). Auf rein appellatorische Kritik am angefochtenen Entscheid tritt das Bundesgericht nicht ein (<ref-ruling> E. 2.1; <ref-ruling> E. 3.1 S. 399).
Unbeachtlich sind blosse Verweise auf die Akten; inwiefern das angefochtene Urteil Bundesrecht verletzt, ist in der Beschwerdeschrift selber darzulegen (vgl. <ref-ruling> E. 1d; <ref-ruling> E. 2; <ref-ruling> E. 3 S. 85). Soweit der Beschwerdeführer auf die Ausführungen in seinen kantonalen Rechtsschriften verweist, kann darauf von vornherein nicht eingegangen werden.
2.2 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 1.5).
Der Beschwerdeführer, der die Sachverhaltsfeststellungen der Vorinstanz anfechten will, kann sich nicht damit begnügen, den bestrittenen Feststellungen eigene tatsächliche Behauptungen gegenüberzustellen oder darzulegen, wie die Beweise seiner Ansicht nach zu würdigen gewesen wären. Vielmehr hat er klar und substanziiert aufzuzeigen, inwiefern die gerügten Feststellungen bzw. die Unterlassung von Feststellungen offensichtlich unrichtig sind oder auf einer Rechtsverletzung im Sinne von <ref-law> beruhen. Soweit der Beschwerdeführer den Sachverhalt ergänzen will, hat er zudem mit Aktenhinweisen darzulegen, dass er entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (Urteile 4A_214/2008 vom 9. Juli 2008 E. 1.2, nicht publ. in: <ref-ruling>; 4A_470/2009 vom 18. Februar 2010 E. 1.2). Auf eine Kritik an den tatsächlichen Feststellungen der Vorinstanz, die diesen Anforderungen nicht genügt, ist nicht einzutreten (<ref-ruling> E. 1.4.3).
3. Ist der Mieter nach der Übernahme der Sache mit der Zahlung fälliger Mietzinse oder Nebenkosten im Rückstand, so kann ihm der Vermieter nach <ref-law> schriftlich eine Zahlungsfrist setzen und ihm androhen, dass bei unbenütztem Ablauf der Frist das Mietverhältnis gekündigt werde. Diese Frist beträgt bei Wohn- und Geschäftsräumen mindestens 30 Tage. Bezahlt der Mieter innert der gesetzten Frist nicht, so kann der Vermieter fristlos, bei Wohn- und Geschäftsräumen mit einer Frist von mindestens 30 Tagen auf Ende eines Monats kündigen (<ref-law>).
Vorliegend stellte die Vorinstanz fest, dass sich der in der Mahnung/Kündigungsandrohung vom 21. August 2008 geltend gemachte Betrag von Fr. 2'650.80 aus dem Saldo der Nebenkostenabrechnung 2005/2006 von Fr. 367.40, dem Saldo der Nebenkostenabrechnung 2006/2007 von Fr. 289.20 und einem angeblich ausstehenden Mietzinsbetreffnis in der Höhe des Restbetrages zusammensetze. Wie sich herausstellte, war im Zeitpunkt der Mahnung/Kündigungsandrohung das Mietzinsbetreffnis bereits beglichen. Die Saldi aus den Nebenkostenabrechnungen waren indessen noch ausstehend. Da der Beschwerdeführer diese - berechtigten und fälligen - Nachforderungen auch innert der 30-tägigen Nachfrist weder beglichen noch hinterlegt hatte (eine Hinterlegung erfolgte erst im Februar 2009), gelangte die Vorinstanz zum Schluss, dass die Voraussetzungen für eine ausserordentliche Kündigung wegen Zahlungsverzugs erfüllt waren.
Der Beschwerdeführer bestreitet nicht, dass die Voraussetzungen für eine ausserordentliche Kündigung nach <ref-law> gegeben sind. Er ist jedoch der Meinung, die Kündigung verstosse gegen Treu und Glauben.
4. Nach <ref-law> ist die Kündigung anfechtbar, wenn sie gegen den Grundsatz von Treu und Glauben verstösst.
4.1 Der Beschwerdeführer beruft sich auf diese Bestimmung und macht geltend, die Kündigung entspreche keinem schützenswerten Interesse, sondern sei eine Rachekündigung. Die Beschwerdegegnerin habe ganz einfach einen lästigen Mieter loswerden wollen. Was der Beschwerdeführer im Einzelnen zur Begründung vorbringt, erschöpft sich weitgehend in appellatorischen Vorbringen. Dabei basiert er seine Argumentation teilweise auf eine vom verbindlich festgestellten Sachverhalt der Vorinstanz abweichende und frei ergänzte Sachverhaltsdarstellung, auf die mangels hinlänglicher Sachverhaltsrügen (vgl. Erwägung 2.2) nicht abgestellt werden kann. Das trifft namentlich auf die Behauptung zu, er habe seit dem Jahre 1999 stets pünktlich seinen Mietzins bezahlt. Die Vorinstanz stellte im Gegenteil fest, der Beschwerdeführer habe nicht regelmässig den geschuldeten Monatsmietzins, sondern teilweise tiefere Beträge bezahlt. Auch sind im angefochtenen Urteil keine Umstände festgestellt, aufgrund derer auf eine Schikane- bzw. Rachekündigung geschlossen werden könnte. Zudem wird nirgends festgehalten, der Beschwerdeführer habe sich darauf berufen, dass die Beschwerdegegnerin vor Kreisgericht ausgeführt habe, sämtliche Versuche, den Beschwerdeführer als Mieter loszuwerden, seien bisher fehlgeschlagen. Eine Sachverhaltsergänzung kommt daher nicht in Betracht (vgl. Erwägung 2.2). Ohnehin müsste allein aus einer solchen, aus dem Zusammenhang gerissenen Bemerkung im nachgehenden Gerichtsverfahren noch nicht auf eine Schikane- bzw. Rachekündigung geschlossen werden.
4.2 Die Vorinstanz verneinte die Frage, ob die Kündigung missbräuchlich sei, weil die Beschwerdegegnerin in der Mahnung/Kündigungsandrohung vom 21. August 2008 neben den Saldi aus den Nebenkostenabrechnungen 2005/2006 und 2006/2007 den Ausstand eines Mietzinsbetreffnisses geltend machte, das bereits bezahlt war.
Nach der Rechtsprechung des Bundesgerichts kann das Einfordern eines zu hohen Betrages zur Missbräuchlichkeit der Kündigung führen. So wurde namentlich eine Kündigung als missbräuchlich qualifiziert, die der Vermieter angedroht hatte, bevor er über die rückständigen Beträge Gewissheit erlangte, weshalb er die Bezahlung eines wesentlich übersetzten Betrages einforderte (<ref-ruling>). Ausserdem wurde die Kündigung in einem Fall als treuwidrig aufgehoben, in welchem sich die Parteien in Verhandlungen über die Höhe einer grundsätzlich unbestrittenen Mietzinsreduktion befanden und die Situation im Zeitpunkt der Androhung und Erklärung der Kündigung höchst unklar war (Urteil 4C.65/2003 vom 23. September 2003 E. 4.2; vgl. auch Urteil 4C.59/2007 vom 25. April 2007 E. 3.4 und Urteil 4C.35/2004 vom 27. April 2004 E. 3.1, in: SJ 2004 I S. 424 ff.). Dabei ist indessen jeweils den Umständen des Einzelfalls Rechnung zu tragen. Die Tatsache allein, dass der Vermieter in der Mahnung einen zu hohen Betrag einsetzt, macht die auf Art. 257d gestützte Kündigung nicht zwingend unwirksam. Vielmehr ist im Einzelfall abzuklären, ob sich der Vermieter treuwidrig verhält, wenn er trotz fehlerhafter Mahnung an der Kündigung festhält. Dies kann insbesondere dann der Fall sein, wenn der Mieter den Betrag, den er zu schulden glaubt, bezahlt hat und der tatsächlich geschuldete Betrag für ihn nicht offensichtlich sein musste (vgl. <ref-ruling> E. 4b S. 33 f.). Dagegen verdient der Mieter, der den Vermieter weder auf den Fehler hinweist noch Anstrengungen unternimmt, den nach seinem Wissen tatsächlich vorhandenen Ausstand zu begleichen, oder zumindest darlegen kann, dass er den Ausstand bei korrekter Angabe des geschuldeten Betrages beglichen hätte, keinen Schutz (Urteil 4A_32/2007 vom 16. Mai 2007 E. 6.2 mit Hinweisen).
Die Vorinstanz stellte fest, es bestünden keine Zweifel, dass der Beschwerdeführer bei Erhalt der Mahnung/Kündigungsandrohung vom 21. August 2008 - wie schon bei Erhalt der Schreiben vom 16. April und 23. Juli 2008 - habe erkennen können und auch tatsächlich erkannt habe, dass im geltend gemachten Zahlungsausstand die Saldi aus den Nebenkostenabrechnungen 2005/2006 und 2006/2007 von zusammen Fr. 656.60 enthalten gewesen seien. Der Beschwerdeführer bestreitet dies denn auch nicht. Von einer unklaren Situation, welche die Beschwerdegegnerin nach Treu und Glauben allenfalls zur Zurückhaltung mit der Erklärung der Kündigung hätte veranlassen müssen, kann - anders als in <ref-ruling> - im vorliegenden Fall keine Rede sein. Hinzu kommt, dass der Beschwerdeführer, obwohl ihm aufgrund der Mahnung/Kündigungsandrohung vom 21. August 2008 klar war, welche Beträge gemahnt wurden, die Beschwerdegegnerin nicht auf den Fehler hinsichtlich des Mietzinsbetreffnisses hinwies, sondern überhaupt nicht reagierte.
Die Vorinstanz hielt der Beschwerdegegnerin betreffend das zu Unrecht gemahnte Mietzinsbetreffnis zugute, dass deren Zahlungskontrolle erheblich erschwert worden sei, weil die Parteien schon seit geraumer Zeit im Streit lagen, was zu verschiedenen Gerichtsverfahren geführt habe, es auch längerfristig zu Mietzinshinterlegungen gekommen sei und der Beschwerdeführer nicht regelmässig den geschuldeten Mietzins, sondern teilweise tiefere Beträge bezahlt habe. Entgegen der Meinung des Beschwerdeführers sind diese nachvollziehbaren Erwägungen nicht zu kritisieren. Der Beschwerdeführer kann sie insbesondere nicht umstossen, indem er diesen mit der nicht festgestellten und daher nicht beachtlichen Behauptung, er habe die Mietzinse stets pünktlich bezahlt, den unsubstanziierten Vorwurf entgegenhält, die Beschwerdegegnerin habe in ihrer Buchhaltung oder zumindest in deren Interpretation selbst ein heilloses Durcheinander geschaffen. Die Beurteilung der Vorinstanz, dass die Kündigung trotz des um das Mietzinsbetreffnis zu hohen gemahnten Betrages nicht gegen Treu und Glauben verstosse, ist daher bundesrechtlich nicht zu beanstanden. Ein Verstoss gegen Treu und Glauben ergibt sich auch nicht daraus, dass der zu Recht gemahnte Betrag von Fr. 656.60 relativ gering war, machte er doch - wie die Vorinstanz zutreffend anführt - immerhin rund einen Drittel des ursprünglich vereinbarten Mietzinses aus (vgl. auch Urteil 4C.2/2007 vom 20. März 2007 E. 4.4, in dem eine Kündigung wegen eines Zahlungsrückstands von Fr. 217.-- nicht als missbräuchlich beurteilt wurde).
4.3 Weiter leitet der Beschwerdeführer die Missbräuchlichkeit der Kündigung aus einem krassen Missverhältnis der gegenseitigen Interessen ab. Er stützt seine Ausführungen wiederum auf die nicht zu hörende Behauptung, er habe die Miete stets pünktlich bezahlt (vgl. Erwägung 4.1), und führt neue und daher unzulässige Tatsachen an, wenn er ausführt, er sei Alleinerziehender und IV-Rentenbezüger, dem diese Wohnung (trotz aller Widrigkeiten mit der Beschwerdegegnerin) gefalle und der diese wegen seines Gesundheitszustandes auch nur sehr schwer verlassen könne (vgl. <ref-law>). Neu und ohne Stütze im angefochtenen Urteil ist auch der Vorwurf, die Beschwerdegegnerin wolle den Beschwerdeführer loswerden, weil sie mit der Neuvermietung der Wohnung heute ganz andere Mietzinse verlangen könne. Mit dieser neuen - und im Übrigen bestrittenen - Behauptung kann er ebenfalls nicht gehört werden. Auf der Grundlage des vorinstanzlich festgestellten Sachverhalts ist ein krasses Missverhältnis der Interessen nicht dargetan. Ohnehin kommt bei einer Kündigung wegen Zahlungsverzugs die Annahme einer missbräuchlichen Kündigung nur ausnahmsweise in Betracht (Urteile 4C.59/2007 vom 25. April 2007 E. 3.4 und 4C.35/2004 vom 27. April 2004 E. 3.1).
4.4 Der Beschwerdeführer macht sodann ein widersprüchliches Verhalten der Beschwerdegegnerin geltend. Diese habe mit stets wechselnder und jeweils unzutreffender Begründung Kündigungen angedroht und diese dann doch nicht realisiert. Bei dieser Sachlage könne ihm aus der Tatsache, dass er nach der dritten Kündigungsandrohung nicht mehr reagiert habe, nichts Nachteiliges angelastet werden.
Der Vorwurf, die Beschwerdegegnerin habe sich auf wechselnde Kündigungsgründe berufen, findet im angefochtenen Urteil keine Stütze. Vielmehr stellte die Vorinstanz zutreffend fest, dass der angerufene Kündigungsgrund (Zahlungsverzug) bestehen geblieben sei. Lediglich der Zahlungsrückstand, der zur Kündigung geführt habe, sei geringer gewesen als im Zeitpunkt der Kündigung angenommen worden sei. Auch die zwei vorangegangenen Kündigungsandrohungen wurden mit Zahlungsrückstand begründet. Aus dem Umstand, dass die Beschwerdegegnerin erst nach der dritten Kündigungsandrohung die Kündigung aussprach, kann ihr kein widersprüchliches Verhalten vorgeworfen werden, welche die Kündigung als missbräuchlich erscheinen liesse.
4.5 Schliesslich erblickt der Beschwerdeführer in der ausserordentlichen Kündigung auch eine rücksichtslose Rechtsausübung. Er führt aus, gerade bei einem langjährigen und pünktlichen Zahler wäre im Sinne von Treu und Glauben zu erwarten gewesen, dass nach einer letzten Mahnung die Betreibung angedroht worden wäre. Dagegen habe kein Zwang bestanden, wegen der offenen Nebenkostensaldi gleich ausserordentlich zu kündigen. Die Beschwerdegegnerin habe bewusst den für ihn nachteiligeren Weg gewählt.
Das Gesetz (<ref-law>) räumt dem Vermieter das Recht ein, bei Zahlungsverzug des Mieters eine ausserordentliche Kündigung auszusprechen. Der Vermieter muss das dafür vorgesehene Verfahren einhalten, welches dem Mieter die Möglichkeit bietet, den Ausstand doch noch zu begleichen und so die Kündigung abzuwenden. Das vorgängige Einleiten einer Betreibung ist bei einer Kündigung nach <ref-law> nicht vorgeschrieben. Indem die Beschwerdegegnerin unter Einhaltung des in <ref-law> vorgesehenen Verfahrens eine ausserordentliche Kündigung aussprach, kann ihr keine schonungslose Rechtsausübung vorgeworfen werden, auch wenn das Mietverhältnis bereits seit rund zehn Jahren bestanden hatte. Dass es sich beim Beschwerdeführer um einen stets pünktlich zahlenden Mieter gehandelt hätte, ist zudem nicht festgestellt (vgl. Erwägung 4.1). Darauf kann somit nicht abgestellt werden.
4.6 Die Vorinstanz hat demnach die Kündigung zu Recht als nicht gegen Treu und Glauben verstossend und daher als gültig beurteilt.
5. Aus diesen Gründen ist die Beschwerde abzuweisen, soweit darauf einzutreten ist. Entsprechend dem Verfahrensausgang wird der Beschwerdeführer kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Der Beschwerdeführer hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 2'500.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Kantonsgericht St. Gallen, III. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 17. Januar 2011
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Die Gerichtsschreiberin:
Klett Sommer