Sachverhalt: A. A.a. A._ (Beklagter, Beschwerdeführer) schloss mit der B._ GmbH (Klägerin, Beschwerdegegnerin) einen Werkvertrag über die Ausführung von Renovationsarbeiten in seiner Liegenschaft (Einfamilienhaus) in U._ ab. Gemäss der Auftragsbestätigung des Bauleiters und Architekten des Beklagten, C._, vom 4. Mai 2010, bestätigte dieser für "Baumeisterarbeiten" einen Werklohn von Fr. 65'636.-- nach Abzug von Rabatt (3 %) und Skonto (2 %) einschliesslich MwSt. Er verwies dabei auf die Offerte vom 23. April 2010. Der Werklohn gemäss dieser Offerte betrug approximativ Fr. 66'312.65, wobei Rabatt und Skonto je 2 % betrugen. Die Klägerin erklärte sich mit der Auftragsbestätigung einverstanden und führte die Bauarbeiten in der Liegenschaft vom 14. Mai bis 22. Oktober 2010 aus. Der Beklagte leistete zwei Akontozahlungen von Fr. 65'000.-- (31. Mai 2010) und Fr. 45'000.-- (23. Juni 2010). Mit Schlussrechnung vom 15. November 2010 stellte die Klägerin für ihre Arbeiten Rechnung für einen Betrag von Fr. 78'787.60 zzgl. MwSt. Hinzu kommen die Materialkosten von Fr. 28'078.40 sowie Fr. 48'606.35 für von der Firma D._ AG an den Beklagten gelieferte Platten. Der Bauleiter und Architekt C._ kontrollierte und unterzeichnete die betreffende Schlussrechnung von Total Fr. 154'411.35 am 17. November 2010. A.b. Der Beklagte bestreitet das Zustandekommen des Werkvertrages nicht, wendet aber ein, er habe mit seinen beiden Akontozahlungen im Totalbetrag von Fr. 110'000.-- die von der Klägerin erbrachten Leistungen vollumfänglich abgegolten, korrekterweise würde ihm sogar noch ein Rückforderungsanspruch im Betrag von Fr. 11'895.70 zustehen. Zum einen sei nämlich mit der Auftragsbestätigung ein fixer Preis vereinbart worden und zum andern sei sein Architekt C._, den er mit der "Planung und Führung aller baulicher Belange" beauftragt habe, gemäss dem zwischen ihnen bestehenden Vertrag nicht ermächtigt gewesen, Verträge in seinem Namen und Auftrag abzuschliessen. Er habe ihn somit nicht rechtsgültig verpflichten können. B. B.a. Mit Klage vom 20. September 2011 beantragte die Klägerin dem Bezirksgericht Meilen, der Beklagte sei zu verpflichten, ihr Fr. 47'562.55 zuzüglich Zins seit dem 1. Januar 2011 und die Kosten des Schlichtungsverfahrens von Fr. 525.-- zu bezahlen. Mit Urteil vom 20. März 2014 hiess das Bezirksgericht Meilen die Klage teilweise gut und verpflichtete den Beklagten, der Klägerin Fr. 47'562.55 zuzüglich Zins seit dem 21. Juni 2011 zu bezahlen (Ziffer 1 des Urteilsdispositivs). Die Gerichtskosten auferlegte es dem Beklagten (Ziffer 4 des Urteilsdispositivs) und verpflichtete diesen, der Klägerin eine Parteientschädigung von Fr. 10'200.-- zu bezahlen (Ziffer 5 des Urteilsdispositivs). B.b. Gegen dieses Urteil erhob der Beklagte Berufung an das Obergericht des Kantons Zürich. In teilweiser Gutheissung der Berufung hob das Obergericht mit Urteil vom 29. Oktober 2014, die Dispositiv-Ziffern 1, 4 und 5 des Bezirksgerichtes Meilen vom 20. März 2014 auf. Es verpflichtete den Beklagten, der Klägerin Fr. 23'362.40 zuzüglich Zins seit dem 21. Juni 2011 zu bezahlen. Im Übrigen wies es die Klage ab (Ziffer 1 des Urteilsdispositivs). C. Mit Beschwerde in Zivilsachen beantragt der Beklagte dem Bundesgericht, das Urteil des Obergerichts des Kantons Zürich vom 29. Oktober 2014 sei aufzuheben und die Klage vom 20. September 2011 abzuweisen. Zusätzlich sei die Sache zur Neuverlegung der Prozesskosten der kantonalen Verfahren an die Vorinstanz zurückzuweisen. Eventualiter sei in Abänderung von Ziffer 1 des Urteilsdispositivs der Beklagte zu verpflichten, der Klägerin Fr. 2'313.50 zuzüglich Zins zu bezahlen und es sei die Sache zur Neuverlegung der Prozesskosten der kantonalen Verfahren an die Vorinstanz zurückzuweisen. Subeventualiter sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. Die Beschwerdegegnerin beantragt die Abweisung der Beschwerde. Die Vorinstanz hat auf eine Vernehmlassung verzichtet.