Sachverhalt: A. A.a A. und B. X._ (Beschwerdeführer) als Mieter und C._ (Beschwerdegegnerin) als Vermieterin schlossen am 2./6. November 2002 einen unbefristeten Mietvertrag über ein 4-Zimmer-Einfamilienhaus in Y._. Die Parteien vereinbarten einen monatlichen Mietzins von Fr. 2'225.--. A.b Mit Schreiben vom 21. Juni 2010 setzte die Beschwerdegegnerin den Beschwerdeführern eine Frist von 30 Tagen zur Bezahlung eines ausstehenden Mietzinsbetrags für den Monat Juni 2010 in der Höhe von Fr. 1'430.-- und drohte ihnen an, bei unbenutztem Ablauf der Frist das Mietverhältnis gemäss Art. 257d OR zu kündigen. A.c Mit zwei separaten Einschreiben an die beiden Beschwerdeführer kündigte die Beschwerdegegnerin den Mietvertrag am 30. Juli 2010 mit amtlichem Formular per 30. September 2010. B. B.a Am 5. Oktober 2010 ersuchte die Beschwerdegegnerin das Bezirksgericht Baden um Ausweisung der Beschwerdeführer. Mit Urteil vom 19. Januar 2011 stellte das Bezirksgericht Baden fest, dass das Mietverhältnis zwischen den Parteien per Ende September 2010 rechtmässig aufgelöst worden und die Ausweisung zulässig sei und verpflichtete die Beschwerdeführer, das Mietobjekt spätestens innert 10 Tagen seit Rechtskraft des Entscheides zu räumen und in ordnungsgemässem Zustand zu verlassen. B.b Gegen dieses Urteil erhoben die Beschwerdeführer Berufung beim Obergericht des Kantons Aargau mit dem Begehren, das Urteil des Bezirksgerichts Baden sei aufzuheben und es sei festzustellen, dass das Mietverhältnis von der Beschwerdegegnerin nicht rechtmässig gekündigt worden und eine Ausweisung unzulässig sei. Mit Urteil vom 21. Juni 2011 wies das Obergericht des Kantons Aargau die Berufung ab. C. Mit Beschwerde in Zivilsachen vom 2. August 2011 beantragen die Beschwerdeführer dem Bundesgericht, es sei das Urteil des Obergerichts des Kantons Aargau aufzuheben und es sei festzustellen, dass das Mietverhältnis zwischen den Parteien von der Beschwerdegegnerin nicht rechtmässig gekündigt worden und eine Ausweisung unzulässig sei. Die Beschwerdeführer ersuchen zudem um Gewährung der aufschiebenden Wirkung. Die Beschwerdegegnerin beantragt die Abweisung der Beschwerde, soweit darauf einzutreten ist. Die Vorinstanz beantragt die Abweisung der Beschwerde. D. Mit Präsidialverfügung vom 6. September 2011 wurde der Beschwerde die aufschiebende Wirkung erteilt.