Sachverhalt:
A. A._ (Beschwerdeführer) liess B._ (Beschwerdegegner) mit Zahlungsbefehl Nr. xxx des Betreibungsamtes Hittnau vom 14. Januar 2005 über eine Forderung von Fr. 37'942.90 betreiben. Als Grund der Forderung gab der Beschwerdeführer an: "Multi Sat 3351 AT Papendrecht / 25.04.2003 25'000 EUR Garantie durch B._". Der Beschwerdegegner erhob Rechtsvorschlag.
B. Am 9. November 2005 klagte der Beschwerdegegner beim Handelsgericht Zürich gegen den Beschwerdeführer auf Feststellung, dass zwischen den Parteien kein Rechts- und Schuldverhältnis bestehe, dass demzufolge der Beschwerdegegner dem Beschwerdeführer den Betrag von Fr. 37'492.90 nicht schulde und dieser dem Beschwerdegegner die Betreibung Nr. xxx vom 14. Januar 2005 ohne Schuldgrund habe zustellen lassen. Der Beschwerdeführer beantragte, auf die Klage sei nicht einzutreten, eventualiter sei sie abzuweisen. Mit Eingabe vom 10. Januar 2007 reichte er beim Bezirksgericht Pfäffikon gegen den Beschwerdegegner eine Klage mit den Begehren ein, dieser sei zu verpflichten, ihm EUR 25'000.-- zu bezahlen, und es sei in der Betreibung vom 14. Januar 2005 der Rechtsvorschlag aufzuheben.
Mit Beschluss vom 12. Juni 2007 trat das Handelsgericht auf die negative Feststellungsklage des Beschwerdegegners nicht ein, auferlegte die Gerichtskosten dem Beschwerdeführer und verpflichtete diesen, dem Beschwerdegegner eine Parteientschädigung von Fr. 8'900.-- zu bezahlen. Das Handelsgericht begründete den Nichteintretensentscheid damit, dass durch die Leistungsklage des Beschwerdeführers das Feststellungsinteresse entfallen sei. Der Beschwerdeführer focht den Beschluss des Handelsgerichts mit Nichtigkeitsbeschwerde an, welche das Kassationsgericht des Kantons Zürich mit Zirkulationsbeschluss vom 28. Mai 2008 abwies, soweit es darauf eintrat.
C. Der Beschwerdeführer erhebt subsidiäre Verfassungsbeschwerde, mit der er dem Sinne nach beantragt, es sei der Zirkulationsbeschluss des Kassationsgerichts vom 28. Mai 2008 und der Beschluss des Handelsgerichts vom 12. Juni 2007 aufzuheben, soweit damit der Beschwerdeführer verpflichtet wird, die Gerichtskosten und dem Beschwerdegegner Parteientschädigungen zu zahlen; die Gerichtskosten der kantonalen Verfahren seien dem Beschwerdegegner aufzuerlegen, und dieser sei zu verpflichten, dem Beschwerdeführer für diese Verfahren Parteientschädigungen von Fr. 8'900.-- (abzüglich Weisungskosten) und Fr. 1'800.-- zu bezahlen. Eventuell sei die Sache an die Vorinstanz zurückzuweisen.
Der Beschwerdegegner schliesst auf Abweisung der Verfassungsbeschwerde. Das Handelsgericht und das Kassationsgericht verzichten auf eine Stellungnahme.
Erwägungen:
1. 1.1 Der Streitwert bestimmt sich bei Beschwerden gegen Endentscheide nach den Begehren, die vor der Vorinstanz strittig geblieben waren (Art. 51 Abs. 1 lit. a BGG). Da vor dem Kassationsgericht nur noch die Kostenverlegung betreffend einen Gesamtbetrag von Fr. 12'480.-- strittig war, und das Kassationsgericht darüber einen Endentscheid traf, wird der im vorliegenden Fall für Beschwerden in Zivilsachen gemäss Art. 74 Abs. 1 lit. b BGG erforderliche Streitwert von Fr. 30'000.-- nicht erreicht, wobei die Ausnahmeregelung gemäss Art. 74 Abs. 2 BGG nicht anwendbar ist. Damit ist die Beschwerde in Zivilsachen ausgeschlossen und die Subsidiarität der Verfassungsbeschwerde gewahrt. Da auch ihre übrigen Voraussetzungen erfüllt sind, ist auf die form- und fristgerecht eingereichte Verfassungsbeschwerde gegen den Zirkulationsbeschluss des Kassationsgerichts vom 28. Mai 2008 einzutreten.
1.2 Mit der Beschwerde an das Bundesgericht kann gemäss Art. 100 Abs. 6 BGG auch das Urteil der oberen kantonalen Instanz angefochten werden, soweit dem höchsten kantonalen Gericht vor Bundesgericht zulässige Rügen nicht unterbreitet werden konnten (BGE 134 III 92 E. 1.1). Dass dies im vorliegenden Fall zutreffen soll, macht der Beschwerdeführer nicht geltend und ist auch nicht ersichtlich. Demnach ist auf die subsidiäre Verfassungsbeschwerde nicht einzutreten, soweit sie sich direkt gegen den Beschluss des Handelsgerichts vom 12. Juni 2007 richtet.
1.3 Die Verletzung von Grundrechten muss in der Beschwerde vorgebracht und begründet werden (Art. 106 Abs. 2 BGG). Für solche Rügen gelten die gleichen Begründungsanforderungen, wie sie gestützt auf Art. 90 Abs. 1 lit. b OG für die staatsrechtliche Beschwerde gegolten haben (BGE 133 II 249 E. 1.4.2 S. 254 mit Hinweisen). Demnach prüft das Bundesgericht nur klar und detailliert erhobene und, soweit möglich, belegte Rügen. Wird eine Verletzung des Willkürverbots gemäss Art. 9 BV geltend gemacht, ist zu beachten, dass ein Entscheid erst willkürlich ist, wenn er im Ergebnis offensichtlich unhaltbar ist. Dies trifft namentlich zu, wenn er eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt (BGE 131 I 57 E. 2; 127 I 54 E. 2b; 124 IV 86 E. 2a). Zur Begründung der Verletzung von Art. 9 BV genügt es daher nicht, wenn in der Beschwerde einfach behauptet wird, der angefochtene Entscheid sei willkürlich. Vielmehr muss anhand der angefochtenen Subsumtion im Einzelnen dargelegt werden, inwiefern der Entscheid an einem qualifizierten und offensichtlichen Mangel leidet (130 I 258 E. 1.3 S. 262; 110 Ia 1 E. 2a).
2. 2.1 Das Kassationsgericht führte aus, nach Wegfall des rechtlichen Interesses an einer Klage entscheide das Gericht gemäss § 65 Abs. 1 der Zivilprozessordnung des Kantons Zürich (ZPO/ZH) nach Ermessen über die Kostenfolge. Das Handelsgericht habe die Kosten dem Beschwerdeführer mit der Begründung auferlegt, dieser habe den Wegfall des rechtlichen Interesses durch die nachträgliche Einreichung einer Leistungsklage verursacht. Das Kassationsgericht ging davon aus, dies sei - analog zur Verursachung der Gegenstandslosigkeit - ein zulässiges Kriterium für die Kostenauflage, wenngleich auch auf andere Kriterien hätte abgestellt werden können. Mit der Rüge, das Handelsgericht hätte wegen Unzulässigkeit des Feststellungsbegehrens nicht auf die Klage eingetreten dürfen, mache der Beschwerdeführer geltend, das Handelsgericht hätte bei der Kostenverteilung darauf abstellen sollen, wer in der Sache obsiegt hätte. Es sei jedoch der Beschwerdeführer gewesen, der mit der nachträglichen Einreichung der Leistungsklage den Wegfall des Feststellungsinteresses und damit auch das Entfallen der Notwendigkeit eines Entscheids über die Frage der Zulässigkeit des Rechtsbegehrens verursacht habe. Indem das Handelsgericht darauf und nicht auf das mutmassliche Obsiegen mit Blick auf die allfällige Unzulässigkeit des Rechtsbegehrens abstellte, habe es daher kein klares Recht verletzt.
2.2 Der Beschwerdeführer wirft dem Kassationsgericht vor, es sei in Willkür verfallen, da es nicht beachtet habe, dass bei einem Nichteintretensentscheid auf Grund eines ungenügend substantiierten Begehrens gemäss § 64 ZPO/ZH zwingend der Beschwerdegegner die Verfahrenskosten hätte tragen müssen. Das Kassationsgericht hätte daher gemäss der in der Nichtigkeitsbeschwerde erhobenen Rüge die genügende Substantiierung des Begehrens prüfen und verneinen müssen. Zwar habe das Handelsgericht angenommen, das Rechtsbegehren sei zulässig, weil der ihm zugrunde liegende Lebensvorgang aus der Replikbegründung erkennbar sei. Das Handelsgericht hätte das Rechtsbegehren indessen nicht abändern dürfen, weshalb es bei der Unzulässigkeit des Begehrens bleibe. Das Nichteintreten auf die Klage hätte somit primär wegen der Unzulässigkeit des Rechtsbegehrens und nicht wegen des fehlenden Rechtsschutzinteresses erfolgen müssen.
2.3 Gemäss Lehre und Rechtsprechung darf bei der Auslegung eines Rechtsbegehrens dessen Begründung berücksichtigt werden (VOGEL/SPÜHLER, Grundriss des Zivilprozessrechts, 8. Aufl. 2006, S. 189 Rz. 8; BGE 134 III 235 E. 2; 125 III 412 E. 1b S. 414 f.). Das Handelsgericht konnte daher willkürfrei annehmen, das Rechtsbegehren sei im Lichte der Begründung in der Replik dahingehend zu verstehen, dass der Beschwerdegegner beantragen wollte, es sei festzustellen, dass zwischen den Parteien kein Garantievertrag über den Betrag von EUR 25'00.-- resp. CHF 37'942.90 zustande gekommen sei, zumal auch der Beschwerdeführer einräumt, dass dieser Wille erkennbar war und er selber davon ausgeht, das Rechtsbegehren habe mit der Replik noch verbessert werden können. Dass sich die eingeschränkte Bedeutung des Rechtsbegehrens nicht aus dessen Formulierung, sondern aus der Begründung der Replik ergab, ändert daran nichts. Demnach ist das Handelsgericht nicht in Willkür verfallen, wenn es die Zulässigkeit des Rechtsbegehrens bejahte und wegen Wegfalls des Rechtsschutzinteresses auf die negative Feststellungsklage nicht eintrat. Der entsprechende Willkürvorwurf gegenüber dem Kassationsgericht erweist sich als unbegründet.
3. 3.1 Entfällt das rechtliche Interesse an der Klage, entscheidet das Gericht gemäss § 65 Abs. 2 ZPO/ZH nach Ermessen über die Kostenfolge. Hat eine Partei unnötigerweise Kosten verursacht, werden sie ihr nach Art. 66 Abs. 1 ZPO/ZH ohne Rücksicht auf den Ausgang des Prozesses auferlegt.
3.2 Für den Eventualfall, dass das Rechtsbegehren als zulässig betrachtet würde, macht der Beschwerdeführer sinngemäss geltend, das Handels- und das Kassationsgericht hätten das ihnen nach § 65 Abs. 1 ZPO/ZH zustehende Ermessen überschritten, weil sie sich von sachfremden Erwägungen hätte leiten lassen und nicht beachtet hätten, dass gemäss § 66 ZPO/ZH unnötigerweise verursachte Kosten ohne Rücksicht auf den Ausgang des Prozesses von der Partei zu tragen seien, welche sie verursacht hat. Diese Bestimmung sei analog auch bei der Kostenverteilung nach § 65 ZPO/ZH anzuwenden. Dabei sei zu beachten, dass der Beschwerdegegner die verzögerte Einreichung der Leistungsklage verursacht habe, indem er keine Gesprächsbereitschaft gezeigt und seine Passivlegitimation bestritten habe ohne anzugeben, welche seiner Gesellschaften allenfalls passivlegitimiert sei. Zudem habe er seine negative Feststellungsklage beim Handelsgericht und nicht beim Bezirksgericht eingereicht, womit er eine Widerklage beim gleichen Gericht verunmöglicht habe.
3.3 Mit diesen Ausführungen übt der Beschwerdeführer unzulässige appellatorische Kritik. Inwiefern die kantonalen Gerichte das ihnen nach § 65 ZPO/ZH zustehende Ermessen willkürlich ausgeübt haben sollen, ist nicht ersichtlich. Selbst bei der Anwendung des Verursacherprinzips gemäss § 66 Abs. 1 ZPO/ZH erscheint die Annahme vertretbar, der Beschwerdeführer habe die negative Feststellungsklage und die damit verbundenen Kosten verursacht, indem er gegenüber dem Beschwerdegegner eine nicht liquide Forderung in Betreibung setzte und nach erhobenem Rechtsvorschlag mit der gerichtlichen Geltendmachung der Forderung über anderthalb Jahre zuwartete.
4. Nach dem Gesagten ist die subsidiäre Verfassungsbeschwerde abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer für das bundesgerichtliche Verfahren kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die subsidiäre Verfassungsbeschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Der Beschwerdeführer hat den Beschwerdegegner für das bundesgerichtliche Verfahren mit Fr. 2'500.-- zu entschädigen.
4. Dieses Urteil wird den Parteien, dem Kassationsgericht des Kantons Zürich und dem Handelsgericht des Kantons Zürich schriftlich mitgeteilt.
Lausanne, 21. Oktober 2008
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Corboz Gelzer