Sachverhalt:
A. X._, Bauagentur und Rohstoffhandel, (Beschwerdeführer) mit Wohnsitz in Deutschland schloss im Februar oder März 2005 als Verkäufer mit Z._, Maler Gipser Isolationen, Rechtsvorgänger der Y._AG (Beschwerdegegnerin) mit Sitz in der Schweiz, einen Kaufvertrag über 191 kg Graffitischutzmittel ab. Der Beschwerdeführer verpflichtete sich zudem, das verkaufte Graffitischutzmittel in die Schweiz zu bringen. Die Ware wurde gemäss Lieferschein bzw. Auftragsbestätigung vom 13. April 2005 geliefert. Lieferadresse war das Magazin des Rechtsvorgängers der Beschwerdegegnerin an der A._strasse in B._.
Mit Schreiben vom 7. Februar 2006 erhob der Rechtsvorgänger der Beschwerdegegnerin eine Mängelrüge wegen Blasenbildung an diversen Fassadenflächen infolge des darauf applizierten Graffitischutzmittels.
B. Der Rechtsvorgänger der Beschwerdegegnerin klagte unter Einreichung der Weisung des Friedensrichteramtes B._ vom 26. Juni 2007 beim Bezirksgericht Hinwil, der Beschwerdeführer sei zu verpflichten, Fr. 162'430.65 zuzüglich 5 % Zins seit 15. April 2007 sowie zuzüglich Fr. 357.-- Kosten der Weisung zu bezahlen. Da der Beschwerdeführer die Einrede der Unzuständigkeit erhob, wurde in der Folge das Verfahren auf die Frage der örtlichen Zuständigkeit beschränkt. Mit Beschluss vom 24. April 2008 trat das Bezirksgericht Hinwil auf die Klage nicht ein.
Gegen diesen Beschluss gelangte der Rechtsvorgänger der Beschwerdegegnerin mit Rekurs an das Obergericht des Kantons Zürich, I. Zivilkammer. Er beantragte, den Beschluss des Bezirksgerichts aufzuheben und das Bezirksgericht anzuweisen, auf die Klage einzutreten. Mit Verfügung vom 19. September 2008 wurde die Beschwerdegegnerin an Stelle ihres Rechtsvorgängers neu ins Verfahren aufgenommen. Das Obergericht bejahte die internationale und örtliche Zuständigkeit des Bezirksgerichts. Mit Beschluss vom 6. Februar 2009 hob es daher in Gutheissung des Rekurses den Beschluss des Bezirksgerichts Hinwil vom 24. April 2008 auf und wies das Bezirksgericht an, auf die Klage einzutreten.
C. Mit Beschwerde in Zivilsachen vom 13. März 2009 beantragt der Beschwerdeführer dem Bundesgericht, den Beschluss des Obergerichts vom 6. Februar 2009 aufzuheben und den Beschluss des Bezirksgerichts Hinwil vom 24. April 2008 zu bestätigen. Zudem ersucht er darum, der Beschwerde die aufschiebende Wirkung zu erteilen.
Die Beschwerdegegnerin schliesst auf Abweisung der Beschwerde, soweit darauf einzutreten sei. Der Beschluss des Obergerichts vom 6. Februar 2009 sei zu bestätigen. Das Obergericht verzichtete auf eine Vernehmlassung.
Der Beschwerdeführer hat eine Replik und die Beschwerdegegnerin eine Duplik eingereicht.
D. Mit Präsidialverfügung vom 8. April 2009 wurde das Gesuch der Beschwerdegegnerin um Erlass eines Vor- oder Zwischenentscheides über die Zulässigkeit der Beschwerde in Zivilsachen unter dem Gesichtspunkt von Art. 75 Abs. 1 BGG abgewiesen.
Der Beschwerde wurde mit Präsidialverfügung vom 29. April 2009 die aufschiebende Wirkung erteilt.

Erwägungen:
1. Das Bundesgericht prüft von Amtes wegen und mit freier Kognition, ob ein Rechtsmittel zulässig ist (<ref-ruling> E. 1.1).
1.1 Beim angefochtenen Entscheid, mit dem die Vorinstanz die internationale und örtliche Zuständigkeit des Bezirksgerichts Hinwil bejahte, handelt es sich um einen selbständig eröffneten Zwischenentscheid über die Zuständigkeit. Gegen solche Entscheide ist die Beschwerde in Zivilsachen zulässig (Art. 92 Abs. 1 BGG). Nach dem Grundsatz der Einheit des Prozesses ist der Zwischenentscheid aber nur mit Beschwerde anfechtbar, wenn es auch der Endentscheid ist (<ref-ruling> E. 2.2). Dies trifft vorliegend zu. Insbesondere ist das Streitwerterfordernis (Art. 74 Abs. 1 lit. b BGG) erfüllt, da es sich in der Hauptsache um eine vermögensrechtliche Angelegenheit mit einem Streitwert von Fr. 162'430.65 handelt.
1.2 Damit ein kantonaler Entscheid mit Beschwerde in Zivilsachen angefochten werden kann, muss der Instanzenzug im Kanton erschöpft sein (Art. 75 Abs. 1 BGG). Für Rügen, die mit Beschwerde in Zivilsachen erhoben werden können, darf kein kantonales Rechtsmittel mehr offen stehen (<ref-ruling> E. 1.3 S. 527). Nach § 281 des Gesetzes des Kantons Zürich über den Zivilprozess vom 13. Juni 1976 (ZPO/ZH; LS 271) kann gegen Vor-, Teil- und Endentscheide sowie gegen Rekursentscheide und Rückweisungen im Berufungsverfahren Nichtigkeitsbeschwerde erhoben werden, wenn geltend gemacht wird, der angefochtene Entscheid beruhe zum Nachteil des Nichtigkeitsklägers auf einer Verletzung eines wesentlichen Verfahrensgrundsatzes (Ziff. 1), auf einer aktenwidrigen oder willkürlichen tatsächlichen Annahme (Ziff. 2) oder auf einer Verletzung klaren materiellen Rechts (Ziff. 3). Ausgeschlossen ist die Nichtigkeitsbeschwerde jedoch, wenn das Bundesgericht einen Mangel frei überprüfen kann (§ 285 Abs. 2 ZPO/ZH; <ref-ruling> E. 3.2 S. 586 f. mit Hinweis). Die Rüge des Beschwerdeführers, wonach das Obergericht die internationale und örtliche Zuständigkeit des Bezirksgerichts Hinwil in Verletzung von Bundesrecht zu Unrecht bejaht habe, wird vom Bundesgericht frei überprüft. Somit mangelt es vorliegend - entgegen den diesbezüglichen detaillierten Ausführungen der Beschwerdegegnerin - nicht am Erfordernis der Letztinstanzlichkeit.
1.3 Da die übrigen Sachurteilsvoraussetzungen erfüllt sind, ist die Beschwerde - vorbehältlich der Vorbringen des Beschwerdeführers, die über den von der Vorinstanz festgestellten Sachverhalt hinausgehen (vgl. nachfolgende Erwägung 2) - zulässig.
2. 2.1 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein (Art. 97 Abs. 1 BGG). Neue Tatsachen und Beweismittel dürfen nur soweit vorgebracht werden, als der Entscheid der Vorinstanz dazu Anlass gibt (Art. 99 Abs. 1 BGG).
Der Beschwerdeführer, der die Sachverhaltsfeststellungen der Vorinstanz anfechten will, muss substantiiert darlegen, inwiefern die Voraussetzungen einer Ausnahme gemäss Art. 105 Abs. 2 BGG gegeben sind und das Verfahren bei rechtskonformer Ermittlung des Sachverhalts anders ausgegangen wäre; andernfalls kann ein Sachverhalt, der vom im angefochtenen Entscheid festgestellten abweicht, nicht berücksichtigt werden. Auf eine Kritik an den tatsächlichen Feststellungen der Vorinstanz, die diesen Anforderungen nicht genügt, ist nicht einzutreten (vgl. <ref-ruling> E. 1.3, 462 E. 2.4). Im vorliegenden Verfahren könnte zudem auf die Rüge willkürlicher Sachverhaltsfeststellungen mangels Letztinstanzlichkeit ohnehin nicht eingetreten werden, da für solche Rügen die kantonale Nichtigkeitsbeschwerde an das Kassationsgericht offen gestanden wäre (vgl. Erwägung 1.2).
2.2 Der Beschwerdeführer weicht in seinen Vorbringen in unzulässiger Weise über weite Strecken vom festgestellten Sachverhalt ab und erweitert diesen. So beispielsweise wenn er ausführt, dass er der Beschwerdegegnerin für den Transport der Ware eine zusätzliche Transportgebühr verrechnet habe, und er aufgrund in den Vorakten liegender Beweismittel darauf schliessen will, mit der Beschwerdegegnerin zwei separate Verträge, nämlich einerseits einen Kaufvertrag über die Lieferung des Graffitischutzmittels und andererseits einen separaten Transportvertrag über die Lieferung der Ware, abgeschlossen zu haben. Damit kann er nicht gehört werden.
3. Vorliegend ist streitig, ob das Bezirksgericht Hinwil für die Schadenersatzklage der Beschwerdegegnerin gegen den Beschwerdeführer international und örtlich zuständig ist.
Der Beschwerdeführer rügt, die Vorinstanz habe die Zuständigkeit des Bezirksgerichts zu Unrecht bejaht und dadurch Art. 2, Art. 5 Ziff. 1 LugÜ, Art. 31 CISG, Art. 74 OR sowie das obligationenrechtliche Vertrauensprinzip verletzt. Zur Beurteilung der Klage seien deutsche Gerichte zuständig. Demgegenüber stellt sich die Beschwerdegegnerin auf den Standpunkt, aufgrund des Erfüllungsortes im Sinne von Art. 5 Ziff. 1 LugÜ in B._ sei die Zuständigkeit des Bezirksgerichts Hinwil gegeben.
4. 4.1 Aufgrund des Wohnsitzes des Beschwerdeführers in Deutschland liegt ein internationaler Sachverhalt im Sinne von Art. 1 Abs. 1 IPRG vor. Zur Bestimmung der internationalen Zuständigkeit gelangt das Lugano-Übereinkommen vom 16. September 1988 (LugÜ; SR 0.275.11) zur Anwendung (Art. 1 Abs. 2 IPRG). Wie die Vorinstanz zu Recht erkannte und von den Parteien denn auch nicht bestritten wird, ist vorliegend sowohl der sachliche als auch der räumlich-persönliche Anwendungsbereich des LugÜ gegeben. Bei vorliegender Streitigkeit, einer Schadenersatzklage aus Vertrag, handelt es sich nämlich um eine Zivil- und Handelssache im Sinne von Art. 1 LugÜ und der Beklagte (Beschwerdeführer) hat seinen Wohnsitz im Hoheitsgebiet eines LugÜ-Vertragsstaats.
4.2 Der Beschwerdegegnerin steht es zu, den Beschwerdeführer als Verkäufer des von ihr als mangelhaft gerügten Graffitischutzmittels am Gerichtsstand des Erfüllungsortes nach Art. 5 Ziff. 1 LugÜ auf Schadenersatz zu belangen. Denn wenn ein Vertrag oder Ansprüche aus einem Vertrag den Streitgegenstand bilden, ermöglicht Art. 5 Ziff. 1 LugÜ dem Kläger (Beschwerdegegnerin), alternativ zum allgemeinen Wohnsitzgerichtsstand nach Art. 2 LugÜ, den Beklagten (Beschwerdeführer) vor dem Gericht des Ortes zu verklagen, an dem die Verpflichtung erfüllt worden ist oder zu erfüllen wäre (<ref-ruling> E. 3.1 S. 285; <ref-ruling> E. 4a S. 189). Zu den Verpflichtungen aus einem Vertrag gehören nicht nur die unmittelbaren vertraglichen Pflichten, wie etwa die Leistungs- und Zahlungspflichten, sondern auch die Verpflichtungen, die an die Stelle einer nicht vertragskonform erfüllten vertraglichen Verpflichtung treten, wie zum Beispiel Schadenersatzansprüche. Im Übrigen ist in einem Rechtsstreit über die Folgen einer Vertragsverletzung, in welchem Schadenersatz verlangt wird, auf die primäre Hauptverpflichtung, das heisst auf jene Verpflichtung abzustellen, deren nicht vertragsgemässe Erfüllung zur Anspruchsbegründung geltend gemacht wird (vgl. Urteil 4C.100/2000 vom 11. Juli 2000 E. 4c mit Hinweisen). Im vorliegenden Fall handelt es sich bei der massgeblichen primären Hauptverpflichtung um die Verpflichtung des Beschwerdeführers auf Übergabe des mängelfreien Graffitischutzmittels.
4.3 Der Erfüllungsort im Sinne von Art. 5 Ziff. 1 LugÜ bestimmt sich nach dem geltenden Recht nicht autonom, sondern richtet sich nach dem auf die vertragliche Verpflichtung anwendbaren Recht (lex causae; BGE <ref-ruling> E. 4a; <ref-ruling> E. 3b S. 45, 298 E. 3a S. 300, je mit Hinweisen). Erst mit dem Inkrafttreten des Art. 5 Ziff. 1 lit. b revLugÜ vom 30. Oktober 2007 (BBl 2009 1841) wird der Begriff des Erfüllungsortes autonom bestimmt werden.
Die Vorinstanz erwog, die Frage des Erfüllungsorts bestimme sich vorliegend nach dem Übereinkommen der Vereinten Nationen über Verträge über den internationalen Warenkauf, abgeschlossen in Wien am 11. April 1980 (CISG; SR 0.221.211.1). Die Anwendbarkeit des CISG als lex causae ist unter den Parteien unbestritten und zu bestätigen (Art. 1 Abs. 1 lit. a CISG).
4.4 Der Beschwerdeführer rügt die Auffassung der Vorinstanz, wonach ein für die internationale Zuständigkeit massgeblicher Erfüllungsort mit einer Lieferortvereinbarung im Sinne von Art. 31 CISG festgelegt werden könne, als unzutreffend. Er sieht Art. 31 CISG verletzt, indem die Vorinstanz zum Schluss kam, dass der von den Parteien unbestrittenermassen vereinbarte Lieferort beim Magazin des Käufers in B._ als Erfüllungsort im Sinne von Art. 5 Ziff. 1 LugÜ zu qualifizieren sei.
4.4.1 Art. 31 CISG regelt, wo der Verkäufer für eine richtige Erfüllung zu liefern (Lieferort) und was er für die Lieferung der Ware vorzukehren hat (Inhalt der Lieferpflicht), soweit sich aus Parteiabsprachen, Gepflogenheiten oder Gebräuchen nichts Näheres dazu ergibt (Brunner, UN-Kaufrecht - CISG, 2004, N. 1 zu Art. 31 CISG; Karollus, in: Honsell, Kommentar zum UN-Kaufrecht, 1997, N. 4 zu Art. 31 CISG; Staudinger/Magnus, Kommentar zum Bürgerlichen Gesetzbuch, Wiener UN-Kaufrecht, 2005, N. 1 zu Art. 31 CISG; vgl. auch Art. 6 und 9 CISG). Der sich aus Art. 31 CISG ergebende Lieferort kann zudem Anknüpfungspunkt für prozessrechtliche Bestimmungen sein, die eine Anknüpfung an den Erfüllungsort vorsehen (Brunner, a.a.O., N. 15 zu Art. 31 CISG; Karollus, a.a.O., N. 49 zu Art. 31 CISG; Alexander R. Markus, Tendenzen beim materiellrechtlichen Vertragserfüllungsort im internationalen Zivilverfahrensrecht, 2009, S. 50; Helga Rudolph, Kaufrecht der Export- und Importverträge, Kommentierung des UN-Übereinkommens über internationale Warenkaufverträge mit Hinweisen für die Vertragspraxis, 1996, N. 5e zu Art. 31 CISG; Staudinger/Magnus, a.a.O., N. 2 zu Art. 31 CISG; Widmer, in: Schlechtriem/Schwenzer, Kommentar zum Einheitlichen UN-Kaufrecht, 5. Aufl. 2008, N. 87 zu Art. 31 CISG). Auch der von den Parteien vereinbarte Lieferort im Sinne von Art. 31 CISG kann grundsätzlich Erfüllungsort sein, an dem der Gerichtsstand des Erfüllungsorts liegt (Brunner, a.a.O., N. 15 zu Art. 31 CISG; Rudolph, a.a.O., N. 8 i.V.m. N. 5e zu Art. 31 CISG). So stellt insbesondere der Ort, an dem der Verkäufer bei einer Bringschuld die Ware dem Käufer zu übergeben hat, zugleich den Erfüllungsort im Sinne von Art. 5 Ziff. 1 LugÜ dar (Valloni, Der Gerichtsstand des Erfüllungsortes nach Lugano- und Brüsseler-Übereinkommen, 1998, S. 271; vgl. auch Brunner, a.a.O., N. 15 FN. 731 zu Art. 31 CISG).
4.4.2 Wie die Vorinstanz zutreffend erkannte, haben die Parteien vorliegend eine Bringschuld vereinbart, indem sich der Verkäufer (Beschwerdeführer) verpflichtete, das Graffitischutzmittel an den Ort des Magazins des Käufers (Beschwerdegegnerin) zu liefern. Somit kam die Vorinstanz zu Recht zum Schluss, dass sich der Erfüllungsort im Sinne von Art. 5 Ziff. 1 LugÜ in B._ befindet und demzufolge das Bezirksgericht Hinwil international und örtlich zuständig ist.
4.5 Die weiteren Rügen des Beschwerdeführers, die Vorinstanz habe Art. 74 OR und das obligationenrechtliche Vertrauensprinzip (recte: die Auslegungsregeln nach Art. 8 CISG) verletzt, sind unbegründet.
Inwiefern die Vorinstanz bei der Vertragsauslegung das Vertrauensprinzip verletzt haben sollte, ist nicht ersichtlich und wird vom Beschwerdeführer auch nicht näher aufgezeigt. Er stellt der von der Vorinstanz vorgenommenen, überzeugenden Auslegung lediglich seine Behauptung gegenüber, die Parteien hätten einen separaten Transportvertrag abgeschlossen, womit er aber nicht zu hören ist (vgl. Erwägung 2.2). Betreffend die Rüge der Verletzung von Art. 74 OR verkennt der Beschwerdeführer, dass die entsprechende Regelung des Erfüllungsortes für den vorliegenden Fall nicht zur Anwendung gelangt, da der Erfüllungsort aufgrund des CISG zu bestimmen ist.
5. Die Beschwerde ist aus diesen Gründen abzuweisen, soweit darauf eingetreten werden kann. Bei diesem Verfahrensausgang wird der Beschwerdeführer kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf eingetreten werden kann.
2. Die Gerichtskosten von Fr. 4'000.-- werden dem Beschwerdeführer auferlegt.
3. Der Beschwerdeführer hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 5'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, I. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 26. Juni 2009
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Die Gerichtsschreiberin:
Klett Sommer