Sachverhalt: A. Die Modissa AG (Klägerin) ist seit dem 19. Dezember 1985 im Handelsregister des Kantons Zürich unter dieser Firma eingetragen mit dem Zweck unter anderem Handel mit Damen- und Herrenkonfektionen sowie Modeartikeln aller Art. Die Klägerin bietet im Wesentlichen Damenmode an und betreibt ihr Hauptgeschäft an der Bahnhofstrasse 74 in Zürich und hat daneben Geschäftslokale am Limmatquai (Zürich) und im Shopville (Zürich) sowie in den Shoppingcentern Spreitenbach und Glatt (Wallisellen). Die Modesa Stoffe + Vorhänge AG (Beklagte) ist seit dem 12. Mai 1972 im Handelsregister (Bern-Mittelland) unter dieser Firma eingetragen mit dem Zweck Detailhandel mit Damen-Nouveauté-Stoffen und anderen Textilwaren usw. Die Beklagte bietet hauptsächlich Stoffe - insbesondere für Damenmode - an und betreibt ihr Hauptgeschäft in der Stadt Bern und hat daneben Filialen in Basel, Biel, Thun, Fribourg, Genf, La Chaux-de-Fonds, Solothurn und Winterthur. B. Im August 2003 eröffnete die Beklagte an der Löwenstrasse 2 in Zürich eine neue Filiale, nur wenige Gehminuten entfernt vom Hauptgeschäft der Klägerin an der Bahnhofstrasse 74 in Zürich. Mit Eingabe vom 17. Mai 2004 reichten die Klägerin zusammen mit der Modissa Immobilien AG beim Handelsgericht des Kantons Zürich Klage ein mit dem Begehren, der Beklagten sei zu verbieten, die Zeichen (a) "Modesa", (b) "Modesa Stoffe + Vorhänge" und (c) "Modesa Stoffe + Vorhänge AG" zur Bezeichnung ihres Geschäftslokals in Zürich und in der Werbung oder sonstwie im informellen Geschäftsverkehr als Hinweis auf ihre Waren und Dienstleistungen in Bezug auf ihr Geschäft in Zürich zu verwenden. Zuvor hatten die Kläger mit Massnahmebegehren vom 21. Oktober 2003 erfolglos versucht, ein entsprechendes Verbot zu erwirken. Das Begehren war vom Einzelrichter mit Verfügung vom 4. März 2004 abgewiesen worden. Auf eine dagegen erhobene Nichtigkeitsbeschwerde trat das Kassationsgericht des Kantons Zürich mit Zirkularbeschluss vom 24. Juni 2004 nicht ein, weil inzwischen die ordentliche Klage hängig gemacht worden war, und überwies das Massnahmeverfahren an das Handelsgericht als ordentliches Gericht. Mit Urteil vom 5. Mai 2006 verbot des Handelsgericht des Kantons Zürich der Beklagten, mit Wirkung ab dem sechzigsten Tag nach Rechtskraft des Urteils, die Zeichen (a) "Modesa", (b) "Modesa Stoffe + Vorhänge" und (c) "Modesa Stoffe + Vorhänge AG" zur Bezeichnung ihres Geschäftslokals in Zürich und in der Werbung als Hinweis auf ihre Waren und Dienstleistungen in Bezug auf ihr Geschäft in Zürich zu verwenden (Ziff. 1); sodann wies das Handelsgericht die Klage der Modissa Immobilien AG ab (Ziff. 2), setzte die Gerichtsgebühr fest (Ziff. 3) und regelte die Kosten- und Entschädigungsfolgen (Ziff. 4-6). C. Mit Berufung vom 19. Juni 2006 beantragt die Beklagte dem Bundesgericht, die Ziffern 1, 4 und 6 des Entscheides des Handelsgerichtes des Kantons Zürich vom 5. Mai 2006 seien aufzuheben und die Klage sei abzuweisen, eventualiter zum neuen Entscheid an die Vorinstanz zurückzuweisen. Die Klägerin beantragt, die Berufung sei abzuweisen, soweit darauf einzutreten sei.