Sachverhalt:
A. A.B._ und B.B._ (Kläger), beide mit Wohnsitz in Griechenland, reichten am 19. Dezember 2003 beim Bezirksgericht Zürich gegen X._ (Beklagter) Klage ein und verlangten im Wesentlichen Rechenschaft über die Tätigkeit des Beklagten als Beauftragter ihres verstorbenen Vaters und über dessen Vermögenswerte, sowie die Herausgabe verschiedener Dokumente und 50 % der Aktien einer Aktiengesellschaft mit Sitz in Vaduz (Gesellschaft), welche ihr Vater zusammen mit seinem Geschäftspartner, der ebenfalls aus Griechenland stammt, gegründet habe. Die Geschäftspartner hätten allerdings die Aktien zu 50 % im Rahmen einer Treuhandkonstruktion gehalten, an deren Umsetzung der Beklagte als Anwalt beider Geschäftspartner beteiligt gewesen sei. Nach dem Tod ihres Vaters sei der Anspruch auf Herausgabe und Rechenschaft auf die Kläger übergegangen.
B. Der Beklagte bestritt generell das Vorliegen eines vertraglichen Verhältnisses und insbesondere die örtliche Zuständigkeit des angerufenen Gerichts, so dass das Verfahren auf diese Frage beschränkt wurde. Das Bezirksgericht stellte für die Zuständigkeitsfrage auf die Behauptung der Kläger ab, wonach zwischen ihrem Vater und dem Beklagten eine vertragliche Beziehung bestanden habe, und beurteilte seine Zuständigkeit nach dem Übereinkommen vom 16. September 1988 über die gerichtliche Zuständigkeit und die Vollstreckung gerichtlicher Entscheidungen in Zivil- und Handelssachen (SR 0.275.11; LugÜ). Es erkannte, der Beklagte habe seinen Wohnsitz zur Zeit nicht in der Schweiz, sondern in Spanien, und auch ein Gerichtsstand einer Zweigniederlassung in der Schweiz liege nicht vor. Dagegen erachtete es den Gerichtsstand am Erfüllungsort nach <ref-law> für gegeben, wobei es den Erfüllungsort in Anwendung von <ref-law> nach schweizerischem Recht bestimmte, da der Beklagte bei Abschluss des Vertrages Wohnsitz in Zürich gehabt habe und der nachmalige Wegzug nicht zu einem Statutenwechsel geführt habe. Gestützt auf diese Überlegungen verwarf das Bezirksgericht am 25. Januar 2005 die vom Beklagten erhobene Unzuständigkeitseinrede. Gleich entschied am 1. Juni 2006 das Obergericht des Kantons Zürich, wobei es über weite Strecken auf die Erwägungen des Bezirksgerichts verwies.
C. Mit eidgenössischer Berufung beantragt der Beklagte dem Bundesgericht, den angefochtenen Beschluss aufzuheben und das Bezirksgericht für örtlich unzuständig zu erklären. Die Kläger schliessen auf kostenfällige Abweisung der Berufung.

Das Bundesgericht zieht in Erwägung:
1. Beim angefochtenen Entscheid handelt es sich um einen selbständigen Zwischenentscheid über die örtliche oder internationale Zuständigkeit, weshalb die Berufung grundsätzlich zulässig ist (Art. 49 Abs. 1 OG). Der Beklagte macht geltend, der angefochtene Entscheid habe nicht ausländisches Recht angewendet, wie es das schweizerische internationale Privatrecht vorschreibt, was mit Berufung gerügt werden kann (Art. 43a Abs. 1 lit. a OG). Auf die Berufung ist daher einzutreten.
1.1 Im Berufungsverfahren ist das Bundesgericht grundsätzlich an die tatsächlichen Feststellungen der Vorinstanz gebunden (<ref-ruling> E. 5.2 S. 564 mit Hinweis). Ausnahmen von dieser Bindung kommen nur in Betracht, wenn die Vorinstanz bundesrechtliche Beweisvorschriften verletzt hat, wenn ihr ein offensichtliches Versehen unterlaufen ist (Art. 63 Abs. 2 OG) oder wenn der von ihr ermittelte Sachverhalt im Hinblick auf die Anwendung des Bundesrechts der Ergänzung bedarf (Art. 64 OG). Die Partei, die den Sachverhalt berichtigt oder ergänzt wissen will, hat darüber genaue Angaben mit Aktenhinweisen zu machen (Art. 55 Abs. 1 lit. d OG; <ref-ruling> E. 2.2 S. 106; <ref-ruling> E. 2a S. 485 f., je mit Hinweisen). Eine Ergänzung setzt zudem voraus, dass entsprechende Sachbehauptungen bereits im kantonalen Verfahren prozesskonform aufgestellt, von der Vorinstanz aber zu Unrecht für unerheblich gehalten oder übersehen worden sind, was wiederum näher anzugeben ist. Ohne diese Angaben gelten Vorbringen, die über die tatsächlichen Feststellungen im angefochtenen Urteil hinausgehen, als neu und sind damit unzulässig (Art. 55 Abs. 1 lit. c OG; <ref-ruling> E. 2c S. 252).
1.2 Beide Parteien lassen in ihre Ausführungen Tatsachen einfliessen, die in den Feststellungen des angefochtenen Beschlusses und den Erwägungen des Bezirksgericht, auf welche die Vorinstanz verweist, keine Stütze finden, ohne sich dabei auf eine der oben genannten Ausnahmen zu berufen. Mit derartigen Vorbringen sind sie nicht zu hören.
1.3 Der Beklagte bestreitet in seiner Berufung weder, dass der Erfüllungsort nach <ref-law> eine Zuständigkeit begründet, noch dass der Erfüllungsort nach schweizerischem Recht in Zürich wäre. Er ist einzig der Auffassung, dass sich der Erfüllungsort nicht nach schweizerischem, sondern nach spanischem Recht bestimme. Dies bestreiten die Kläger und stellen sich zusätzlich auf den Standpunkt, der Beklagte habe Wohnsitz in Zürich. Sie zeigen aber mit Bezug auf die anderslautende Feststellung der Vorinstanz keine Bundesrechtsverletzung auf, so dass auf ihre Ausführungen nicht einzutreten ist. Damit ist der angefochtene Entscheid nur in Bezug auf das anwendbare Recht zu überprüfen (Art. 55 lit. b und c OG).
2. Der Beklagte anerkennt, dass er bei Vertragsschluss als Rechtsanwalt in Zürich tätig war. In diesem Zeitpunkt unterstand ein allfälliges Vertragsverhältnis nach <ref-law> grundsätzlich schweizerischem Recht. Der Beklagte geht davon aus, es bestehe ein Dauerschuldverhältnis, da er unter anderem während mehrerer Jahre auch Verwaltungsrat der vom Vater der Kläger gegründeten Gesellschaft gewesen sei. Da die vertragliche Beziehung nach seinem Wegzug nach Spanien angedauert habe, sei von einem Statutenwechsel auszugehen. Berechtigte Erwartungen der Vertragspartner würden dadurch nicht enttäuscht, da der Vertrag keinerlei Beziehung mehr zur Schweiz aufweise, nachdem keine der beteiligten Parteien mehr Wohnsitz in der Schweiz habe und der Sitz der Gesellschaft in Liechtenstein sei.
2.1 Die Frage eines Statutenwechsels bei Veränderung der Anknüpfungstatsachen (vgl. Kropholler, Internationales Privatrecht, 6. Aufl., Tübingen 2006, § 27 I 3, S. 188) stellt sich im gesamten Bereich des internationalen Privatrechts. Wegen des im Vertragsrecht vorherrschenden Grundsatzes der gemeinsamen Parteiherrschaft (die sich auch in der weitgehenden Möglichkeit der Parteien, nach <ref-law> das anwendbare Recht selbst zu bestimmen, widerspiegelt) und der Gleichbehandlung der Parteien (vgl. Schwander, Die Auswirkungen des Zeitablaufs auf das Vertragsstatut, in: Harrer/Portmann/Zäch [Hrsg.], Besonderes Vertragsrecht - aktuelle Probleme, Festschrift für Heinrich Honsell zum 60. Geburtstag, S. 175 ff., S. 182) lassen sich die allgemein für den Statutenwechsel entwickelten Lehren (Kropholler, a.a.O., § 27 II, S. 189 ff.) nicht ohne Weiteres auf das Vertragsrecht übertragen (vgl. Reithmann/Martiny, Internationales Vertragsrecht, 6. Aufl. Köln 2004, Rz. 115 S. 127 f.).
2.2 Nach <ref-law> untersteht ein Vertrag bei Fehlen einer Rechtswahl dem Recht des Staates, mit dem er am engsten zusammenhängt, wobei vermutet wird, der engste Zusammenhang bestehe mit jenem Staat, in dem die Partei, welche die charakteristische Leistung erbringen soll, ihren gewöhnlichen Aufenthalt hat. Als massgebender Zeitpunkt für die Bestimmung des Aufenthaltsortes gilt dabei grundsätzlich der Zeitpunkt des Vertragsschlusses. Ausnahmsweise kann namentlich bei Dauerschuldverhältnissen die Änderung des Aufenthaltes des Erbringers der charakteristischen Leistung einen Statutenwechsel bewirken (Urteil des Bundesgerichts 4C.73/2000 vom 22. Juni 2000, E. 4a/aa nicht publ. in <ref-ruling>; Vischer/ Huber/Oser, Internationales Vertragsrecht, 2. Aufl., Rz. 249 S. 128 f.; Dutoit, Droit international privé suisse, 4. Aufl., N. 49 zu <ref-law>; Amstutz/Vogt/Wang, Basler Kommentar, N. 82 zu <ref-law>; Schnyder/Liatowitsch, Internationales Privat- und Zivilverfahrensrecht, 2. Aufl., § 26 Rz. 737 f. S. 256; vgl. auch Keller/Kren Kostkiewicz, Zürcher Kommentar, N. 46 und 214 ff. zu <ref-law>).
2.3 Der Gesetzgeber hat bewusst darauf verzichtet, den für die Beurteilung der Anknüpfungstatsachen massgeblichen Zeitpunkt festzulegen (Keller/Kren Kostkiewicz, Zürcher Kommentar, N. 214 zu <ref-law>). Zu berücksichtigen sind vielmehr die gesamten Umstände des Einzelfalles (vgl. Vischer/Huber/Oser, a.a.O., Rz. 249 S. 129; Keller/Kren Kostkiewicz, Zürcher Kommentar, N. 17 zu <ref-law>). Bei der Zuweisung des Vertrages nach der charakteristischen Leistung handelt es sich lediglich um eine "Vermutung", so dass im Einzelfall zu prüfen bleibt, ob das Vertragsverhältnis zu einem anderen Recht ein engeres Verhältnis hat (Amstutz/Vogt/Wang, Basler Kommentar, N. 12 zu <ref-law>; Schnyder/Liatowitsch, a.a.O., § 26 Rz. 738, S. 256, auf welche sich der Beklagte beruft; ebenso Keller/Kren Kostkiewicz, Zürcher Kommentar, N. 23 zu <ref-law>). Aus der vom Gesetzgeber angestrebten Anknüpfung nach dem engsten Zusammenhang (<ref-law>) ergibt sich, dass auch im Rahmen von <ref-law> die Veränderung einer Anknüpfungstatsache nur zu berücksichtigen ist, wenn durch die Veränderung zu einer anderen Rechtsordnung ein engeres Verhältnis begründet wird und anzunehmen ist, der engste Zusammenhang bestehe mit dieser.
2.4 Die in <ref-law> aufgestellten Vermutungstatbestände dienen der Rechtssicherheit und der Voraussehbarkeit des massgeblichen Rechts (Keller/Kren Kostkiewicz, Zürcher Kommentar, N. 22 und 51 zu <ref-law>; Amstutz/Vogt/Wang, Basler Kommentar, N. 7 zu <ref-law>; Schnyder/Liatowitsch, a.a.O., § 26 Rz. 734, S. 255). Die Möglichkeit, durch einseitige Handlungen der Parteien wie die Verlegung des Wohnsitzes das anwendbare Recht zu beeinflussen, steht dieser Zielsetzung entgegen (vgl. Reithmann/Martiny, a.a.O., Rz. 124 S. 136). Zudem wäre es mit dem Geist des Schuldvertragsrechts kaum vereinbar, der einen Partei indirekt (über den Sitzwechsel) zu gestatten, einseitig den Inhalt des Vertrages abzuändern (Schwander, a.a.O., S. 182; vgl. auch Reithmann/Martiny, a.a.O., Rz. 115 S. 127). Mitunter kann die Veränderung der Anknüpfungstatsachen aber zur Folge haben, dass sich der Schwerpunkt des zu beurteilenden Vertrages verlagert (Amstutz/Vogt/Wang, Basler Kommentar, N. 82 zu <ref-law>; vgl. auch Keller/Kren Kostkiewicz, Zürcher Kommentar, N. 214 ff. zu <ref-law>; Reithmann/Martiny, a.a.O., Rz. 115 S. 127), so dass das Dauerschuldverhältnis seinen engen Zusammenhang mit der ursprünglichen Rechtsordnung verliert. Unter solchen Umständen führt die Anwendung des ursprünglichen Statuts zu unbefriedigenden Ergebnissen und ist auch der Rechtssicherheit abträglich, da sich die berechtigte Erwartung der Parteien nicht auf die Anwendung eines Rechts richten kann, das mit der gelebten Wirklichkeit des Vertragsverhältnisses keinen Zusammenhang mehr aufweist.
2.5 Entgegen der Auffassung des Beklagten tritt dieser Fall aber nicht bereits dann ein, wenn der Vertrag nach Veränderung der Anknüpfungstatsache keinen direkten (vorliegend örtlichen) Bezug mehr zum ursprünglichen Statut hat. Die gegenseitigen Rechte und Pflichten wurden bei Vertragsschluss nach dem im damaligen Zeitpunkt geltenden Vertragsstatut festgelegt (Schwander, a.a.O., S. 182; vgl. auch Keller/Kren Kostkiewicz, Zürcher Kommentar, N. 46 und 214 ff. zu <ref-law>). Dieser Zusammenhang bleibt ungeachtet der Veränderung der Anknüpfungstatsache bestehen (vgl. BGE 76 II 45 E. 1 S. 48). Eine Änderung des Vertragsstatuts rechtfertigt sich daher nur, wenn sich während der Vertragsdauer ein derart enger Zusammenhang mit einer anderen Rechtsordnung ergibt, dass er den verbleibenden Zusammenhang mit dem ursprünglichen Vertragsstatut gemessen an den berechtigten Erwartungen beider Parteien, denen bei der Frage des Statutenwechsels wegen der gemeinsamen Parteiherrschaft und der grundsätzlichen Bindung der Parteien an das einmal Vereinbarte besonderes Gewicht zukommt (vgl. Schwander, a.a.O., S. 182), verdrängt.
2.6 In jedem Fall muss die Gegenpartei auf die Fortführung des Dauerschuldverhältnisses unter den neuen Bedingungen verzichten können (Schwander, a.a.O., S. 182; Keller/Kren Kostkiewicz, Zürcher Kommentar, N. 215 zu <ref-law>). Die einseitige Veränderung einer Anknüpfungstatsache bei Verträgen führt für sich allein mithin nicht zu einer Anpassung des Vertragsstatuts, da den Parteien die Möglichkeit gewahrt bleiben muss, sich bei Veränderung der Anknüpfungstatsache aus dem Dauerschuldverhältnis gestützt auf das bei Vertragsabschluss geltende Recht zu lösen und den vertraglichen Beziehungen ein Ende zu setzen (Schwander, a.a.O., S. 182; Keller/Kren Kostkiewicz, Zürcher Kommentar, N. 215 zu <ref-law>). Ein Statutenwechsel gestützt auf <ref-law> kommt nur in Betracht, wenn ein Dauerschuldverhältnis von beiden Parteien ungeachtet der Veränderung der Anknüpfungstatsache fortgesetzt wird, und wenn die Parteien die Frage des anwendbaren Rechts nicht selbst regeln oder geregelt haben (<ref-law>).
2.7 Auch bei der Frage nach dem für die Anknüpfungstatsachen massgeblichen Zeitpunkt und dem sich daraus allenfalls ergebenden Statutenwechsel geht es um die Einordnung des Rechtsverhältnisses nach seinem funktionellen Zusammenhang, wie er generell für die Zuordnung von Verträgen massgeblich ist (vgl. Keller/Kren Kostkiewicz, Zürcher Kommentar, N. 18 zu <ref-law> mit Hinweisen).
2.7.1 Wenn bei objektiver Betrachtung der gesamten Umstände und damit in der berechtigten Erwartung der Parteien (die freilich nicht mit deren hypothetischem Willen zu verwechseln ist, vgl. Keller/Kren Kostkiewicz, Zürcher Kommentar, N. 3 ff. und 17 zu <ref-law>) das Vertragsverhältnis funktionell auf die unveränderte Erbringung der einmal vereinbarten Leistung ausgerichtet ist, besteht der engste funktionelle Zusammenhang in der Regel mit dem Recht jenes Landes, nach welchem sich die Rechte und Pflichten der Parteien bei Vertragsschluss bestimmt haben. Daher bleibt der Zeitpunkt des Vertragsschlusses massgeblich und eine Veränderung der Anknüpfungstatsache unbeachtlich (Keller/Kren Kostkiewicz, Zürcher Kommentar, N. 46 und 215 zu <ref-law>; Amstutz/Vogt/Wang, Basler Kommentar, N. 82 zu <ref-law>; Schwander, a.a.O., S. 182; Vischer/Huber/Oser, a.a.O., Rz. 249 S. 129).
2.7.2 Kommt der Anknüpfungstatsache dagegen eine funktionelle Bedeutung für das Vertragsverhältnis zu und wird dieses durch die Veränderung derart in eine neue Rechtsordnung eingebettet, dass eine Verlagerung seines Schwerpunkts eintritt, erlischt mit Fortsetzung der vertraglichen Beziehungen in der Regel der funktionelle Zusammenhang mit dem ursprünglich anwendbaren Recht (auch in der berechtigten Erwartung der Parteien), so dass die Unterstellung unter eine andere Rechtsordnung geboten erscheint und die Veränderung der Anknüpfungstatsache zu berücksichtigen ist (Keller/Kren Kostkiewicz, Zürcher Kommentar, N. 216 zu <ref-law>; Amstutz/Vogt/Wang, Basler Kommentar, N. 82 zu <ref-law>; Schwander, a.a.O., S. 182; Vischer/Huber/Oser, a.a.O., Rz. 249 S. 129).
2.7.3 Auch in Bezug auf die in der Literatur kontrovers behandelte Frage einer allfälligen Rückwirkung des neuen Vertragsstatuts (Amstutz/Vogt/Wang, Basler Kommentar, N. 82 zu <ref-law>; Keller/Kren Kostkiewicz, Zürcher Kommentar, N. 217 zu <ref-law>; Vischer/Huber/Oser, a.a.O., Rz. 249 S. 129; Dutoit, a.a.O., N. 49 zu <ref-law>) ist nicht nach einem schematischen Muster zu verfahren (Vischer/Huber/Oser, a.a.O., Rz. 249 S. 129). Vielmehr ist abzuklären, ob nach den gesamten Umständen für die vergangenen Tatbestände das ursprünglich geltende Statut vorherrschend bleibt, weil die Parteien in der Lage sein mussten, sich danach zu richten (vgl. Vischer/Huber/Oser, a.a.O., Rz. 219 S. 113; Keller/Kren Kostkiewicz, Zürcher Kommentar, N. 46 zu <ref-law>), oder ob die Natur des Vertrages und die Schwerpunktverlagerung derart sind, dass sie eine einheitliche Beurteilung des Vertragsverhältnisses erheischen (vgl. zum analogen Problem der Unterwerfung verschiedener innerlich aufeinander bezogener selbständiger Verträge unter ein einheitliches Vertragsstatut Keller/Kren Kostkiewicz, Zürcher Kommentar, N. 58 zu <ref-law> mit Hinweisen).
3. Der Beklagte als Erbringer der charakteristischen Leistung hat seinen Wohnsitz während der behaupteten Vertragsbeziehung gewechselt. Diese wurde nach Veränderung der Anknüpfungstatsache fortgesetzt. Eine von den Parteien getroffene Regelung betreffend des anwendbaren Rechts ist nicht festgestellt, so dass sich die Frage nach einem Statutenwechsel stellt.
3.1 In Bezug auf einen Wohnsitzwechsel ist darauf abzustellen, ob das Vertragsverhältnis funktionell darauf ausgerichtet ist, dass der Erbringer der charakteristischen Leistung die einmal vereinbarte Leistung weiterhin unverändert erbringt, unabhängig davon, wo er sich aufhält, oder ob die Leistung beziehungsweise das Vertragsverhältnis derartige Verbindungen zu seinem neuen Wohnsitz aufweist, dass die Unterstellung unter das bei Vertragsabschluss geltende Vertragsstatut den vertraglichen Beziehungen funktionell nicht mehr gerecht wird.
3.2 Den tatsächlichen Feststellungen im angefochtenen Entscheid sind keine Hinweise zu entnehmen, die auf die Entstehung eines besonders engen Zusammenhangs mit dem spanischen Recht hindeuten würden. Die Auftraggeber des Beklagten weisen keinerlei Beziehung zum spanischen Recht auf. Nach den Vorbringen des Beklagten selbst führte er seit 1988 das Verwaltungsratsmandat für die Gesellschaft von Spanien aus. In Bezug auf das behauptete Vertragsverhältnis ist keine über die blosse Fortführung des Mandats hinausgehende Tätigkeit festgestellt. Die Gesellschaft, auf welche sich die Tätigkeit des Beklagten bezog, hat ihren Sitz in Liechtenstein, so dass hinsichtlich der zu erbringenden Leistung kein Konnex mit der spanischen Rechtsordnung ersichtlich ist. Mit Hinblick auf die Organstellung des Beklagten war das Vertragsverhältnis offensichtlich auf die gleichbleibende Betreuung der Gesellschaft ausgerichtet, unabhängig davon, von wo aus diese Betreuung erfolgte. Dem Ort der Leistungserbringung kam funktionell dagegen keine Bedeutung zu.
3.3 Unter diesen Umständen ging die Vorinstanz zu Recht davon aus, dass mit dem Wohnsitzwechsel keine Schwerpunktverlagerung des Vertragsverhältnisses einherging. Der Vertrag war vielmehr funktionell auf die gleichbleibende Weiterführung des Mandats ausgerichtet. Damit besteht der engste Zusammenhang nach wie vor mit dem Vertragsstatut, nach welchem sich die vertraglichen Rechte und Pflichten bei Abschluss des Vertrages bestimmt haben.
4. Die Berufung erweist sich insgesamt als unbegründet und ist abzuweisen, soweit darauf einzutreten ist. Dem Ausgang des Verfahrens entsprechend wird der Beklagte kosten- und entschädigungspflichtig (Art. 156 Abs.1 und 159 Abs. 2 OG).

Demnach erkennt das Bundesgericht:
1. Die Berufung wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtsgebühr von Fr. 2'000.-- wird dem Beklagten auferlegt.
3. Der Beklagte hat die Kläger für das bundesgerichtliche Verfahren mit insgesamt Fr. 2'500.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 21. November 2006
Im Namen der I. Zivilabteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber: