Sachverhalt:
A. A.a Im Zusammenhang mit dem Neubau seiner Liegenschaft hatte A._ (Kläger, Beschwerdeführer) in den Jahren 1983/84 bei der Firma X._ AG (Beklagte, Beschwerdegegnerin) "Y._ Storen" bestellt. In den Jahren 1986/87 und 1992 wurden jeweils auf Bestellung von A._ einzelne beschädigte Storen durch entsprechende neue Storen ersetzt.
A.b Nach einem Hagelschaden hat A._ am 1. Juli 2008 bei der Firma X._ AG eine Bestellung aufgegeben, um die beschädigten Storen an der Ost- und Südfassade seiner Liegenschaft durch neue "Y._ Storen" zu ersetzen, unter Belassung der unbeschädigten Storen. Aufgrund eines Rabattes von 21 % hat sich A._ gleichentags entschlossen, eine zweite Bestellung für die Nord- und Westfassade aufzugeben, um sämtliche Storen am Gebäude einheitlich durch neue Storen zu ersetzen.
Der vereinbarte Werkpreis von Fr. 47'876.65 für die Ost- und Südfassade und von Fr. 21'800.40 für die Nord- und Westfassade umfasste die Herstellung, Lieferung und Montage der neuen sowie die Demontage und Entsorgung der alten Storen.
A.c Die Storen wurden am 8. August 2008 geliefert und bei A._ in der Garage zur vorübergehenden Lagerung eingestellt. Am 11. August 2008, dem vorgesehenen Montagebeginn, wurde zunächst nur ein neuer Storen provisorisch montiert und wieder demontiert, da die gelieferten Storen angeblich nicht mit den vorbestehenden alten Storen übereinstimmten. Am 13. August 2008 wurde sodann ein neuer Storen zur Anschauung der Veränderung gegenüber den alten Storen montiert und am Gebäude gelassen.
Die X._ AG stellte am 15. August 2008 für die Storen Rechnung und setzte in der Folge einen Betrag von Fr. 38'492.35 in Betreibung, wogegen A._ Rechtsvorschlag erhoben hat.
B. B.a Daraufhin reichte A._ beim Handelsgericht des Kantons Zürich eine Forderungsklage gegen die X._ AG ein, mit dem im Laufe des Verfahrens abgeänderten Begehren, die X._ AG sei zu verpflichten, ihm einen Betrag von Fr. 28'316.55 zuzüglich Zins zu 5 % seit dem 7. Oktober 2008 für die geleistete Storen-Anzahlung sowie Fr. 17'003.05 zuzüglich Zins zu 5 % seit dem 15. Oktober 2009 (mittlerer Verfall) für die Lager-, Reparatur- und vorprozessualen Anwaltskosten zu bezahlen. Dagegen erhob die X._ AG Widerklage mit dem Begehren, A._ sei zu verpflichten ihr Fr. 38'492.35 zuzüglich Zins zu 5 % seit dem 22. September 2008 zu bezahlen und es sei der Rechtsvorschlag in der Betreibung Nr. zzz._ des Betreibungsamtes Thalwil zu beseitigen.
B.b Mit Beschluss vom 2. September 2011 schrieb das Handelsgericht des Kantons Zürich das Verfahren im Umfang von Fr. 2'883.45 als durch teilweise Anerkennung der Widerklage erledigt ab. Mit Urteil vom gleichen Tag wies es die Klage ab und verpflichtete den Kläger in teilweiser Gutheissung der Widerklage, der Beklagten einen Betrag von Fr. 35'593.60 nebst Zins zu 5 % auf Fr. 38'477.05 seit dem 3. Oktober 2008 zu bezahlen; im Übrigen wies es die Widerklage ab. Im Weiteren beseitigte es den Rechtsvorschlag gegen den Zahlungsbefehl Nr. zzz._ des Betreibungsamtes Thalwil vom 26. September 2008 im Umfang von Fr. 38'477.05 nebst Zins zu 5 % seit dem 3. Oktober 2008.
C. Mit Beschwerde in Zivilsachen beantragt der Kläger dem Bundesgericht, das Urteil des Handelsgerichts des Kantons Zürich vom 2. September 2011 aufzuheben, die Widerklage abzuweisen und in Gutheissung der Klage die Beklagte zu verpflichten, ihm Fr. 28'316.55 zuzüglich 5 % Zins ab dem 7. Oktober 2008 sowie einen Betrag von Fr. 17'003.05 zuzüglich 5 % Zins ab dem 15. Oktober 2009 zu bezahlen. Eventualiter sei das Urteil des Handelsgerichts aufzuheben und die Streitsache zur weiteren Abklärung des Sachverhaltes an die Vorinstanz zurückzuweisen.
Die Beklagte beantragt die Abweisung der Beschwerde; die Vorinstanz hat auf eine Vernehmlassung verzichtet. Der Beschwerdeführer hat dem Bundesgericht unaufgefordert eine Replik, die Beschwerdegegnerin eine Duplik eingereicht.
D. Mit Präsidialverfügung vom 23. November 2011 wies das Bundesgericht das Gesuch um Erteilung der aufschiebenden Wirkung ab.
Erwägungen:
1. 1.1 Das Bundesgericht prüft von Amtes wegen und mit freier Kognition, ob ein Rechtsmittel zulässig ist (Art. 29 Abs. 1 BGG; BGE 137 III 417 E. 1 S. 417 mit Hinweisen).
Die Beschwerde richtet sich gegen einen Endentscheid (Art. 90 BGG) in einer Zivilsache (Art. 72 Abs. 1 BGG), der von einem oberen kantonalen Gericht erging, das als Fachgericht für handelsrechtliche Streitigkeiten und einzige kantonale Instanz eingesetzt ist (Art. 75 Abs. 2 lit. b BGG). Da auch die übrigen Sachurteilsvoraussetzungen erfüllt sind, ist auf die Beschwerde - unter Vorbehalt einer rechtsgenüglichen Begründung (Art. 42 Abs. 2 und Art. 106 Abs. 2 BGG) - einzutreten.
1.2 Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist somit weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (vgl. BGE 133 II 249 E. 1.4.1 S. 254; 132 II 257 E. 2.5 S. 262; 130 III 136 E. 1.4 S. 140). Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind. Es ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen werden (BGE 135 II 384 E. 2.2.1 S. 389; 133 II 249 E. 1.4.1 S. 254 mit Hinweisen).
Für alle Vorbringen betreffend die Verletzung verfassungsmässiger Rechte und von kantonalem Recht gilt schliesslich das strenge Rügeprinzip (Art. 106 Abs. 2 BGG; BGE 133 II 249 E. 1.4.2 S. 254). Das bedeutet, dass das Bundesgericht nur klar und detailliert erhobene und soweit möglich belegte Rügen prüft, während es auf ungenügend begründete Rügen und rein appellatorische Kritik am angefochtenen Entscheid nicht eintritt (BGE 134 II 244 E. 2.2 S. 246).
1.3 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (BGE 135 III 397 E. 1.5 S. 401). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein (Art. 97 Abs. 1 BGG).
Der Beschwerdeführer, der die Sachverhaltsfeststellungen der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern die gerügten Feststellungen bzw. die Unterlassung von Feststellungen offensichtlich unrichtig sind oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruhen (BGE 136 II 508 E. 1.2 S. 511 f.; 133 II 249 E. 1.4.3 S. 254 f.; 133 III 462 E. 2.4 S. 466, 393 E. 7.1 S. 398, 350 E. 1.3 S. 351 f.). Soweit der Beschwerdeführer den Sachverhalt ergänzen will, hat er zudem mit Aktenhinweisen darzulegen, dass er entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (Urteile 4A_341/2011 vom 21. März 2012 E. 1.5.1; 4A_614/2011 vom 20. März 2012 E. 1.2; 4A_214/2008 vom 9. Juli 2008 E. 1.2, nicht publ. in: BGE 134 III 570). Überdies ist in der Beschwerde darzutun, inwiefern die Behebung des gerügten Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG; BGE 135 I 19 E. 2.2.2 S. 22). Auf eine Kritik an den tatsächlichen Feststellungen der Vorinstanz, die diesen Anforderungen nicht genügt, ist nicht einzutreten (BGE 133 II 249 E. 1.4.3 S. 254 f.; 133 III 462 E. 2.4 S. 466 f.).
1.4 Diese Grundsätze verkennt der Beschwerdeführer. Er stellt seinen Rügen zunächst eine eigene Sachverhaltsdarstellung voran, die von den tatsächlichen Feststellungen der Vorinstanz abweicht, ohne eine rechtsgenügliche Sachverhaltsrüge zu erheben. Auch seine weiteren Ausführungen beschränken sich weitgehend auf appellatorische Kritik am angefochtenen Entscheid und verfehlen insoweit die gesetzlichen Begründungsanforderungen.
2. Der Beschwerdeführer macht in Bezug auf die Vertragsauslegung durch die Vorinstanz in verschiedener Hinsicht eine Verletzung bundesrechtlicher Grundsätze geltend.
2. Der Beschwerdeführer macht in Bezug auf die Vertragsauslegung durch die Vorinstanz in verschiedener Hinsicht eine Verletzung bundesrechtlicher Grundsätze geltend.
2.1 2.1.1 Der Beschwerdeführer bringt vor, die vorinstanzliche Vertragsauslegung führe zu einem inhaltsleeren Ergebnis, da sich daraus nicht ergebe, welche konkreten werkvertraglichen Leistungen die Beschwerdegegnerin mit Bezug auf den Storenbehang und dessen Eigenschaften zu erbringen habe. Die Vorinstanz habe nicht alle wesentlichen Umstände für die Vertragsauslegung nach dem Vertrauensprinzip gewürdigt, weshalb der festgestellte Sachverhalt lückenhaft und damit ergänzungs- und berichtigungsbedürftig sei.
2.1.2 Die Vorinstanz hat die auf Grundlage der beiden Offerten der Beschwerdegegnerin für den Ersatz der Storen an der Liegenschaft des Beschwerdeführers vom 27. Juni bzw. 1. Juli 2008 abgeschlossene Vereinbarung einheitlich als Werkvertrag qualifiziert. Dies wird von den Parteien nicht in Frage gestellt; der Beschwerdeführer bringt vor Bundesgericht lediglich vor, es mache "objektiv betrachtet keinen Sinn", von einem einheitlichen Vertragsverhältnis auszugehen, ohne jedoch eine Bundesrechtsverletzung aufzuzeigen. Die Vorinstanz hat festgestellt, dass die Parteien über die Frage, ob Storen mit gleichen Eigenschaften wie die vorbestehenden alten Storen geliefert werden sollten, keinen übereinstimmenden wirklichen Parteiwillen bekundet haben. Aus diesem Grund sei der Werkvertrag nach dem Vertrauensprinzip auszulegen.
Den "geltenden Bedingungen", welche integrierender Bestandteil des Werkvertrages sind, könne entnommen werden, dass die Beschwerdegegnerin "die Verwendung hochwertiger Materialien und eine einwandfreie Verarbeitung nach dem im Zeitpunkt des Vertragsabschlusses geltenden Stand der Technik" zusichere. Nach diesem Wortlaut lasse sich der mutmassliche Parteiwillen bestimmen, wonach die Beschwerdegegnerin das aktuelle Modell der "Y. Q._ Storen" herstellen und montieren solle, denn im Werkvertrag werde nicht auf die Eigenschaften von alten Storen Bezug genommen. Der Beschwerdeführer habe 25 Jahre nach der ursprünglichen und rund 16 Jahre nach der letzten Lieferung durch die Beschwerdegegnerin nicht davon ausgehen dürfen, dass Storen mit gleichen Eigenschaften wie die alten "Y._ Storen" geliefert würden. Daran ändere nichts, dass der Beschwerdeführer zu erkennen gegeben habe, dass die alten Kurbelstangen an der Nord- und Westfassade sowie die alten Aufhängungen der Storenkasten und die alten Führungsschienen am Gebäude beibehalten werden sollen, da nicht gesagt werden könne, der Beschwerdeführer habe damit deutlich ausgedrückt, dass der Vertragsabschluss die Lieferung von Storen mit gleichen Eigenschaften wie die alten Storen bedinge.
2.1.3 Der Beschwerdeführer vermag nicht darzutun, inwieweit die Vorinstanz bei ihrer Vertragsauslegung Bundesrecht verletzt haben soll. Zwar trifft zu, dass die unterschiedliche Formulierung in den beiden Offerten bezüglich den Kurbelstangen missverständlich ist. In der Offerte für die Ost- und Südfassade heisst es nämlich: "Bemerkung: bei Rückgabe neuer Gelenkstangen erfolgt Gutschrift", wobei der Offerte für die Nord- und Westfassade zu entnehmen ist: "Minderpreispositionen: Wegfall der Gelenkkurbelstangen, die bestehenden Kurbeln werden übernommen". Wie die Vorinstanz zutreffend festgehalten hat, deckt sich der Wortlaut bezüglich der Offerte der Nord- und Westfassade mit dem Auslegungsergebnis des Beschwerdeführers, wonach die bestehenden Kurbelstangen übernommen werden sollen. Der Wortlaut der Offerte für die Ost- und Südfassade ist jedoch nicht eindeutig. Der Beschwerdeführer bringt diesbezüglich vor, dass den zahlreichen Offerten der Beschwerdegegnerin aus dem Jahre 2007, welche er damals für einen Teilersatz seiner durch Hagel beschädigten Storen eingeholt hat, entnommen werden könne, dass die Lieferung jeweils bei bestehenden Kurbelstangen erfolgen solle. Die genannten Offerten würden ausdrücklich den "Wegfall der Gelenkkurbelstangen" festhalten, was bei der Vertragsauslegung durch die Vorinstanz unberücksichtigt geblieben sei, weshalb die Sachverhaltsfeststellung in diesem Punkt zu ergänzen sei. Der Beschwerdeführer unterlässt es jedoch mit Aktenhinweisen aufzuzeigen, dass er entsprechende tatsächliche Vorbringen bereits im vorinstanzlichen Verfahren prozesskonform eingebracht hat. Damit verfehlt er die Anforderungen an eine rechtsgenügende Sachverhaltsrüge.
Überdies hat die Vorinstanz festgestellt, dass auch den Offerten aus dem Jahre 2007 der wirkliche Wille der Parteien bezüglich der bestellten Storen nicht entnommen werden könne. Der Beschwerdeführer zeigt nicht auf, inwiefern die Vorinstanz mit dieser Annahme in Willkür verfallen sein soll.
Überdies hat die Vorinstanz festgestellt, dass auch den Offerten aus dem Jahre 2007 der wirkliche Wille der Parteien bezüglich der bestellten Storen nicht entnommen werden könne. Der Beschwerdeführer zeigt nicht auf, inwiefern die Vorinstanz mit dieser Annahme in Willkür verfallen sein soll.
2.2 2.2.1 Der Beschwerdeführer bringt vor, die Beschwerdegegnerin sei gemäss ihren Prüfungs-, Hinweis- und Abmahnungspflichten verpflichtet gewesen, ihn auf die Veränderungen zwischen den alten und den neuen "Y._ Storen" hinzuweisen, zumal er in Storen-spezifischen Fragen nicht fachkundig sei. Die Vorinstanz habe dazu Sachverhaltsfeststellungen unterlassen, weshalb der Sachverhalt in diesem Sinne ergänzungsbedürftig sei. So habe die Beschwerdegegnerin den Beschwerdeführer auch darauf aufmerksam machen sollen, dass die neuen Storen eine Sturznischentiefe von 130 mm benötigten, obwohl seine Liegenschaft nur über eine Sturznischentiefe von 120 mm verfüge. Die gegenteilige Auffassung der Vorinstanz, wonach keine Hinweispflicht seitens der Beschwerdegegnerin bestanden habe, verletze Bundesrecht. Er habe demnach davon ausgehen dürfen und müssen, dass keine Veränderungen an den bestellten Storen bestehen würden.
2.2.2 Die Vorinstanz hat erwogen, die Beschwerdegegnerin sei nicht verpflichtet gewesen, den Beschwerdeführer auf die Veränderungen zwischen den alten und den neuen "Y._ Storen" hinzuweisen. Die Geschäftsbeziehung zwischen den Parteien sei nicht derart intensiv gewesen, dass eine solche Pflicht bestanden hätte.
Es sei unbestritten, dass die Beschwerdegegnerin jedes einzelne Fenster an seinem Gebäude ausgemessen habe, bevor sie dem Beschwerdeführer die neuen Storen offerierte. In Anbetracht dieser Ausmessung und der Tatsache, dass zwei Storen montiert werden konnten, trete die in den Daten- und Merkblättern vorgesehene Sturznischentiefe von 130 mm in den Hintergrund. Entscheidend seien vielmehr die tatsächlichen Verhältnisse, welche an der Liegenschaft des Beschwerdeführers fachmännisch beurteilt worden seien.
2.2.3 Der Unternehmer ist verpflichtet, das von ihm geschuldete Werk herzustellen und dem Besteller abzuliefern (Art. 363 OR). Zu dieser Hauptpflicht können verschiedene Nebenpflichten hinzutreten, welche sich aus Gesetz, Vereinbarung oder richterlicher Vertragsergänzung ergeben. Zu den Nebenpflichten, die sich aus Gesetz ergeben, gehört unter anderen die Sorgfalts- und Treuepflicht (Art. 364 OR). So trifft den Unternehmer nach Art. 365 Abs. 3 OR auch eine Anzeige- und Abmahnungspflicht. Danach ist er gehalten, dem Besteller ohne Verzug Anzeige zu machen, sollten sich bei der Ausführung des Werkes Mängel an dem vom Besteller gelieferten Stoffe oder an dem angewiesenen Baugrunde zeigen oder sich sonst Verhältnisse ergeben, die eine gehörige oder rechtzeitige Ausführung des Werkes gefährden. Anzeige- und Abmahnungspflichten ergeben sich auch aus Art. 25 SIA-Norm 118, die unbestrittenermassen Vertragsbestandteil bildet. Den Unternehmer treffen sodann verschiedene andere Aufklärungs- und Hinweispflichten, die nicht schon in der Anzeige- und Abmahnungspflicht enthalten sind und sich aus der übergeordneten Treuepflicht ergeben.
Der Beschwerdeführer beruft sich in diesem Zusammenhang - zu Unrecht - auf eine Literaturstelle, wonach der Unternehmer im Rahmen einer laufenden Geschäftsbeziehung mit wiederholten Bestellungen des gleichen Produkts verpflichtet ist, den Besteller über Änderungen der Produktbeschaffenheit zu informieren, damit sich dieser auf die Änderungen einstellen kann (PETER GAUCH, Der Werkvertrag, 5. Aufl. 2011, S. 339 Rz. 836). Der Vorinstanz ist beizupflichten, dass im zu beurteilenden Fall nicht von einer laufenden und intensiven Geschäftsbeziehung gesprochen werden kann. Die letzte Bestellung für einen Teilersatz beschädigter Storen lag rund 16 Jahre zurück und im Jahre 2007 erfolgte keine Bestellung von Storen, sondern es wurden bloss Offerten eingeholt. Überdies geht gemäss den Feststellungen der Vorinstanz aus diesen Offerten nicht hervor, welche Storen sie betrafen. Demnach traf den Unternehmer keine Pflicht, den Beschwerdeführer auf die Veränderungen zwischen den alten und den neuen Storen hinzuweisen.
So kann der Beschwerdeführer auch aus der Anzeige- und Abmahnungspflicht des Unternehmers nichts zu seinen Gunsten ableiten. Die Anzeigepflicht nach Art. 365 Abs. 3 OR bezieht sich auf Mängel am Werk, die eine gehörige oder rechtzeitige Ausführung des Werks gefährden. Den vorinstanzlichen Feststellungen ist jedoch zu entnehmen, dass die Beschwerdegegnerin vor der Offertstellung der Storen alle Fenster am Gebäude des Beschwerdegegners ausgemessen hat und dass zwei Storen, trotz einer Sturznischentiefe von 120 mm einwandfrei montiert werden konnten, was vom Beschwerdeführer auch nicht bestritten wird.
So kann der Beschwerdeführer auch aus der Anzeige- und Abmahnungspflicht des Unternehmers nichts zu seinen Gunsten ableiten. Die Anzeigepflicht nach Art. 365 Abs. 3 OR bezieht sich auf Mängel am Werk, die eine gehörige oder rechtzeitige Ausführung des Werks gefährden. Den vorinstanzlichen Feststellungen ist jedoch zu entnehmen, dass die Beschwerdegegnerin vor der Offertstellung der Storen alle Fenster am Gebäude des Beschwerdegegners ausgemessen hat und dass zwei Storen, trotz einer Sturznischentiefe von 120 mm einwandfrei montiert werden konnten, was vom Beschwerdeführer auch nicht bestritten wird.
2.3 2.3.1 Der Beschwerdeführer macht sodann geltend, die Vorinstanz habe an die Substanziierungspflicht bundesrechtswidrige Anforderungen gestellt. Er habe detailliert und tatbestandlich dargelegt, von welchem Parteiwillen er bei der Vertragsschliessung mit der Beschwerdegegnerin ausgegangen sei und habe präzise Angaben zu Zeitpunkt, Inhalt und Beteiligung der für die Parteien handelnden Personen im Zusammenhang mit den betreffenden Willenserklärungen vorgebracht.
2.3.2 Die Vorinstanz hat erwogen, die Vorbringen des Beschwerdeführers erwiesen sich als zu unbestimmt, um den tatsächlichen Parteiwillen rechtsgenüglich zu behaupten, wonach die Storen mit gleichen Formaten/Massen, gleicher Funktionalität, gleicher Qualität und gleichem äusseren Erscheinungsbild wie die alten "Y._ Storen" hergestellt und montiert werden sollten. Der Beschwerdeführer habe nicht dargelegt, welche Personen zu welchem Zeitpunkt welchen tatsächlichen Willen erklärt und ob dieser beschriebene Wille im Zeitpunkt des Vertragsschlusses übereingestimmt habe.
2.3.3 Das kantonale Verfahren richtete sich noch nicht nach der am 1. Januar 2011 in Kraft getretenen Schweizerischen Zivilprozessordnung, sondern nach dem zürcherischen Gesetz vom 13. Juni 1976 über den Zivilprozess (ZPO/ZH, LS 271; Art. 404 Abs. 1 ZPO).
Wie der Sachverhalt zu ermitteln ist, bestimmt daher grundsätzlich das kantonale Prozessrecht. Auf der Verhandlungsmaxime, deren Geltung das kantonale Prozessrecht vorsehen kann (BGE 116 II 196 E. 3a S. 201 und 594 E. 3a S. 595; vgl. § 54 Abs. 1 ZPO/ZH), beruht unter anderem die Last der Prozessparteien, die Tatsachen zu behaupten, auf welche das Gericht die Rechtssätze zur Anwendung bringen soll (MAX GULDENER, Schweizerisches Zivilprozessrecht, 3. Aufl. 1979, S. 159). Demgegenüber bestimmt das Bundesrecht, wie weit ein Sachverhalt zu substanziieren ist, damit er unter die Bestimmungen des materiellen Rechts subsumiert werden kann (BGE 127 III 365 E. 2b S. 368; 108 II 337 E. 2b S. 339; mit Hinweisen).
2.3.4 Der Beschwerdeführer legt nicht dar, inwiefern die Vorinstanz überhöhte Anforderungen an die Substanziierung von Sachbehauptungen gestellt haben soll. Er begnügt sich mit einem pauschalen Verweis auf seine früheren Rechtsschriften und verfehlt insofern die gesetzlichen Begründungsanforderungen. Überdies ist eine bundesrechtswidrige Substanziierungsanforderung durch die Vorinstanz auch nicht ersichtlich. Die Vorinstanz hat zu recht festgestellt, dass es dem (anwaltlich vertretenen) Beschwerdeführer möglich und zumutbar gewesen sei, seine Behauptungen bezüglich des abweichenden tatsächlichen Parteiwillens weiter zu konkretisieren, damit sie von der Beschwerdegegnerin konkret bestritten und darüber Beweis hätte abgenommen werden können. Die Ausführungen der Vorinstanz sind bundesrechtlich nicht zu beanstanden.
2.4 Demnach ist die Vertragsauslegung der Vorinstanz nach dem Vertrauensprinzip, wonach die Parteien das aktuelle Modell der "Y. Q._ Storen" vereinbart haben, nicht bundesrechtswidrig. Mit der Vorinstanz ist - entgegen der Ansicht des Beschwerdeführers - davon auszugehen, dass gestützt auf diesen nach Treu und Glauben ausgelegten Parteiwillen ein Vertrag zwischen den Parteien über die Lieferung und Montage des genannten Storenmodells zustande gekommen ist.
3. Der Beschwerdeführer rügt weiter eine bundesrechtswidrige Anwendung des Rücktrittsrechts vor Werkablieferung (Art. 366 Abs. 2 OR).
3.1 Er bringt vor, die Vorinstanz habe den Sachverhalt in verschiedener Hinsicht falsch und mangelhaft festgestellt. Bei richtiger Ermittlung des Sachverhalts hätte sich ergeben, dass die neuen Storen für die Liegenschaft des Beschwerdeführers nicht passten, nicht gebrauchstauglich seien, zahlreiche gravierende Mängel aufwiesen und aus fachmännischer Sicht infolge ungenügender Sturznischentiefe mit "scharfkantigem Blechabschluss" nicht eingebaut werden dürften. Der Sachverhalt erweise sich demnach als ergänzungs- und berichtigungsbedürftig. Eine Behebung des Sachverhaltsmangels sei für den Verfahrensausgang entscheidend.
3.2 Die Vorinstanz hat festgestellt, dass allein das Nichtbestehen der Sturznischentiefe von 130 mm keinen Mangel darstelle, welche den Beschwerdeführer berechtigt hätte, vorzeitig vom Werkvertrag zurückzutreten. Es sei erstellt, dass die Storen trotz einer Sturznischentiefe von 120 mm einwandfrei montiert werden können und ihre Gebrauchstauglichkeit nicht beeinträchtigt sei. Da dem Beschwerdeführer im Zeitpunkt des Vertragsabschlusses die Masse der neuen Storen nicht bekannt gewesen seien, könne ihm auch der Abstand zwischen den Sturznischen und den neuen Storen nicht bekannt gewesen sein. Somit habe dies nicht Gegenstand des übereinstimmenden Parteiwillens sein und keine vereinbarte Eigenschaft des Werks darstellen können. Die Vorinstanz führt weiter aus, dass eine vorzeitige Beendigung des Werkvertrages gestützt auf die Sturznischenproblematik ohnehin ungerechtfertigt sei, da es der Beschwerdeführer in seinem Schreiben vom 29. September 2008 unterlassen habe, der Beschwerdegegnerin eine angemessene Frist zur Beseitigung des Mangels zu setzen.
3.3 Der Beschwerdeführer verkennt, dass ein Werk nur dann mangelhaft ist, wenn ihm eine bestimmte Eigenschaft fehlt, die es nach dem Vertrag haben sollte. Nach dem ermittelten Parteiwillen sind neue Storen geschuldet, die einer zum Gebrauch tauglichen normalen und bezüglich der Materialien hochwertigen Beschaffenheit entsprechen müssen. Die Vorinstanz hat festgestellt, dass zwei Storen trotz einer Sturznischentiefe von 120 mm einwandfrei montiert werden konnten und keine Einschränkung der Gebrauchstauglichkeit bestehe. Damit stellt der blosse Umstand, dass das technische Datenblatt der gelieferten "Y. Q._ Storen" eine Sturznischentiefe von 130 mm erwähnt, keine Abweichung von den vertraglich vereinbarten Eigenschaften dar.
Die Vorbringen des Beschwerdeführers beziehen sich vornehmlich auf die von ihm festgestellte Abweichung des alten zum neuen Storenmodell und beschränken sich mehrheitlich auf appellatorische Kritik am angefochtenen Entscheid, womit er nicht zu hören ist. Eine Verletzung von Art. 366 Abs. 2 OR ist nicht ersichtlich.
4. 4.1 Der Beschwerdeführer bringt sodann vor, die vorinstanzlichen Anforderungen an die Substanziierung seiner Ansprüche bezüglich der Lagerkosten der Storen, der Reparaturkosten und der vorprozessualen Anwaltskosten seien überspitzt und bundesrechtswidrig. Die Beschwerdegegnerin habe seine Tatsachenbehauptungen nicht bestritten, weshalb er nicht gehalten gewesen sei, diese detaillierter darzulegen. Ebenso habe die Vorinstanz in Verletzung der bundesrechtlichen Substanziierungsanforderungen die Werkpreisforderung der Beschwerdegegnerin gutgeheissen. Nach seiner Auffassung sei er rechtmässig vom Vertrag zurückgetreten, weshalb der Beschwerdegegnerin kein Vergütungsanspruch zustehe.
4.2 Die Vorinstanz hat festgestellt, dass weder die Schadensposition der Lager-, der Reparatur-, noch diejenige der vorprozessualen Anwaltskosten durch den Beschwerdeführer genügend substanziiert vorgebracht worden seien.
Sie hat weiter festgehalten, es sei unbestritten, dass die Beschwerdegegnerin mehrmals angeboten habe, die gelieferten Storen am Gebäude des Beschwerdeführers zu montieren. Indem er die Montage der Storen verwehrt habe, habe er eine ihm obliegende Mitwirkungshandlung verweigert, weshalb er sich seit dem 1. September 2008 in Annahmeverzug befunden habe, womit die Werkpreisforderung fällig geworden sei.
4.3 Der Beschwerdeführer zeigt nicht auf, inwiefern die Vorinstanz an die Substanziierung überhöhte Anforderungen gestellt haben soll. Der Beschwerdeführer behauptet vor Bundesgericht lediglich, die Beschwerdegegnerin habe seine entsprechenden Vorbringen nicht bestritten, zeigt jedoch nicht auf, inwiefern die Vorinstanz die kantonalen Bestimmungen der Verhandlungsmaxime (§ 54 ZPO/ZH) verfassungswidrig angewendet hätte.
Entgegen der Ansicht des Beschwerdeführers hat die Vorinstanz bezüglich den Lagerkosten erwogen, dass zwischen den Parteien kein Vertrag über die Lagerkosten der Storen zustande gekommen sei, wonach die Beschwerdegegnerin dem Beschwerdeführer eine "Miete" zu entrichten hätte. Der Beschwerdeführer vermag nicht darzutun, inwiefern die Vorinstanz dabei Bundesrecht verletzt haben soll. Eine Verletzung von Art. 6 OR ist nicht ersichtlich.
4.4 Ebenso wenig legt der Beschwerdeführer dar, inwiefern die Vorinstanz die Substanziierungsanforderungen bezüglich der Höhe der Werkpreisforderung verletzt oder Grundsätze des kantonalen Verfahrensrechts willkürlich angewendet haben soll. Seine Vorbringen beschränken sich darauf zu behaupten, dass er vom Vertrag zurückgetreten sei; insofern seien die vorinstanzlichen Feststellungen zu ergänzen. Der Beschwerdeführer unterlässt es jedoch, in Auseinandersetzung mit den eingehenden Erwägungen der Vorinstanz darzutun, inwiefern die Voraussetzungen eines Vertragsrücktritts erfüllt sein sollen.
Die vorinstanzlichen Erwägungen zum verlangten Ersatz von Lager-, Reparatur- und vorprozessualen Anwaltskosten sowie zu der Höhe der Werkpreisforderung sind demnach nicht zu beanstanden und halten vor Bundesrecht stand.
5. Nach dem Gesagten ist die Beschwerde abzuweisen, soweit darauf eingetreten werden kann. Dem Ausgang des Verfahrens entsprechend wird der Beschwerdeführer kosten- und entschädigungspflichtig (Art. 66 Abs. 1 sowie Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 4'000.-- werden dem Beschwerdeführer auferlegt.
3. Der Beschwerdeführer hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 5'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Handelsgericht des Kantons Zürich schriftlich mitgeteilt.
Lausanne, 7. Juni 2012
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Die Gerichtsschreiberin: Reitze