Sachverhalt: A. A._ (Käufer, Kläger und Beschwerdeführer) und die X._ AG (Verkäuferin, Beklagte und Beschwerdegegnerin) schlossen am 30. April 2007 einen Vertrag betreffend Lieferung, Montage, Programmierung und Instruktion einer Alarmanlage Y._ zum Preis von Fr. 3'550.--. Diese Anlage (Hauptalarmanlage) wurde am 23. Juli 2007 im Haus des Käufers montiert. Am 17. September 2007 schlossen die Parteien einen weiteren Vertrag betreffend Lieferung, Montage, Programmierung und Instruktion zweier tiertoleranter Funk-Bewegungsmelder und einer Rückmeldeeinheit zum Preis von Fr. 1'050.--. Diese Anlage (Nebenalarmanlage) wurde am 17. Oktober 2007 im Keller des Käufers montiert. Der Käufer machte in der Folge Mängel der Alarmanlagen geltend. B. B.a. Am 3. Juli 2008 reichte der Käufer beim Bezirksgericht Zofingen folgende Klage ein: "1. Infolge Wandelung des Kaufvertrages über die Hauptalarmanlage Y._ und des Kaufvertrages über die Nebenalarmanlage zur Y._ sei die Beklagte zu verpflichten, dem Kläger CHF 5'503.90 nebst Zins zu 5 % seit 11. Dezember 2007 zu bezahlen. 2. Der in der Betreibung Nr. xxx des Betreibungsamtes Oftringen erhobene Rechtsvorschlag für den Betrag von CHF 1'129.80 nebst Zins zu 5 % seit 11. Dezember 2007 sei aufzuheben. 3. Unter Kosten- und Entschädigungsfolge zu Lasten der Beklagten." Die Beklagte beantragte Abweisung der Klage und erhob ihrerseits Widerklage im Betrag von Fr. 1'847.85 nebst Zins. Mit Urteil vom 9. Oktober 2012 wies das Gerichtspräsidium Zofingen Klage und Widerklage ab. B.b. Das Obergericht des Kantons Aargau wies am 14. August 2013 eine vom Kläger gegen dieses Urteil erhobene Beschwerde ab, mit der die Gutheissung der Klage beantragt worden war. C. Mit subsidiärer Verfassungsbeschwerde wiederholt der Kläger vor Bundesgericht im Wesentlichen seine erstinstanzlichen Klagebegehren. Eventualiter sei die Streitsache zur Neubeurteilung an das Obergericht zurückzuweisen. Die Beschwerdegegnerin stellt das Begehren, die Beschwerde abzuweisen, soweit darauf einzutreten sei. Das Obergericht hat auf Stellungnahme verzichtet. Der Beschwerdeführer hat unaufgefordert eine Replik eingereicht. Die Beschwerdegegnerin hat auf eine inhaltliche Duplik verzichtet.