Sachverhalt:
A. Der 1969 geborene N._ arbeitete ab Januar 2001 bei der Gesellschaft X._ und war dadurch bei der Zürich Versicherungs-Gesellschaft AG (nachfolgend: Zürich) obligatorisch gegen Unfallfolgen versichert. Mit Unfallmeldung vom 2. Dezember 2004 liess er der Zürich mitteilen, er habe am 23. Mai 2002 anlässlich einer zahnärztlichen Behandlung durch eine Injektion eines Anästhetikums in den Unterkiefer links eine Läsion des Nervus lingualis erlitten. Die Zürich verneinte mit Verfügung vom 5. Januar 2006 ihre Leistungspflicht mit der Begründung, es liege mangels Ungewöhnlichkeit des Ereignisses kein Unfall vor. N._ erhob Einsprache. Das Verfahren blieb auf seinen Antrag hin sistiert bis zum Vorliegen der von ihm eingeholten neurologischen Beurteilung des Prof. Dr. med. B._, Department of Neurology, University Y._, Hospital and Clinics, vom 17. April 2009. Die Zürich ihrerseits holte nebst weiteren Arztberichten eine fachmedizinische Expertise des Prof. Dr. med. H._, Facharzt Mund-Kiefer-Gesichtschirurgie FMH, Spezialarzt Oralchirurgie, vom 9. März 2010 (mit ergänzender Stellungnahme vom September/Oktober 2010) ein. Mit Einspracheentscheid vom 14. Februar 2011 hielt sie an der Verfügung vom 5. Januar 2006 fest.
B. Die von N._ hiegegen erhobene Beschwerde hiess das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 8. Mai 2012 gut. Es hob den Einspracheentscheid vom 14. Februar 2011 auf und stellte fest, der Versicherte habe für die Folgen des Ereignisses vom 23. Mai 2002 Anspruch auf die gesetzlichen Leistungen.
C. Die Zürich führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Rechtsbegehren, es sei der vorinstanzliche Entscheid aufzuheben und der Einspracheentscheid vom 14. Februar 2011 zu bestätigen. In verfahrensrechtlicher Hinsicht ersucht sie darum, der Beschwerde die aufschiebende Wirkung zu erteilen.
N._ lässt auf Abweisung von Beschwerde und Gesuch betreffend aufschiebende Wirkung schliessen. Das Bundesamt für Gesundheit verzichtet auf eine Vernehmlassung.
D. Mit Verfügung vom 22. Oktober 2012 weist die Instruktionsrichterin das Gesuch betreffend aufschiebende Wirkung ab.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann wegen Rechtsverletzung gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (<ref-ruling> E. 1.4 S. 317 f. mit Hinweis). Trotzdem obliegt es der Beschwerde führenden Partei, sich in ihrer Beschwerde sachbezogen mit den Darlegungen im angefochtenen Entscheid auseinanderzusetzen (Art. 42 Abs. 1 und 2 BGG). Das Bundesgericht prüft unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht - vorbehältlich offensichtlicher Fehler - nur die in seinem Verfahren geltend gemachten Rechtswidrigkeiten. Es ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen werden (<ref-ruling> E. 2.2.1 S. 389; vgl. auch <ref-ruling> E. 1.3 S. 584; je mit Hinweisen).
2. Streitig und zu prüfen ist, ob aufgrund der zahnärztlichen Behandlung vom 23. Mai 2002 ein Anspruch auf Leistungen der obligatorischen Unfallversicherung besteht. Das kantonale Gericht hat die rechtlichen Grundlagen zur Beurteilung der Streitsache zutreffend dargelegt.
3. Gemäss <ref-law> werden, soweit das UVG nichts anderes bestimmt, die Versicherungsleistungen bei Berufsunfällen, Nichtberufsunfällen und Berufskrankheiten gewährt (Abs. 1). Der Bundesrat kann Körperschädigungen, die den Folgen eines Unfalles ähnlich sind, in die Versicherung einbeziehen (Abs. 2). Die Versicherung erbringt ihre Leistungen ausserdem für Schädigungen, die dem Verunfallten bei der Heilbehandlung im Sinne von <ref-law> zugefügt werden (Abs. 3).
4. Eine Berufskrankheit und eine unfallähnliche Körperschädigung im Sinne von Art. 6 Abs. 1 und 2 UVG stehen hier ebenso wenig zur Diskussion wie eine Schädigung bei Heilbehandlung nach der - nur bei Heilbehandlung einer Unfallfolge anzuwendenden (vgl. <ref-law>; SVR 2012 UV Nr. 11 S. 37, 8C_708/2011 E. 5 mit Hinweisen) - Regelung des <ref-law>.
5. Umstritten ist, ob ein Unfall im Sinne von <ref-law> in Verbindung mit <ref-law> vorliegt.
Danach gilt als Unfall die plötzliche, nicht beabsichtigte schädigende Einwirkung eines ungewöhnlichen äusseren Faktors auf den menschlichen Körper, die eine Beeinträchtigung der körperlichen, geistigen oder psychischen Gesundheit oder den Tod zur Folge hat (<ref-law>).
Im vorliegenden Fall ist das Erfordernis der Ungewöhnlichkeit des äusseren Faktors umstritten:
5.1 Nach der Rechtsprechung bezieht sich das Begriffsmerkmal der Ungewöhnlichkeit nicht auf die Wirkung des äusseren Faktors, sondern nur auf diesen selber. Ohne Belang für die Prüfung der Ungewöhnlichkeit ist somit, dass der äussere Faktor allenfalls schwerwiegende, unerwartete Folgen nach sich zog. Der äussere Faktor ist ungewöhnlich, wenn er den Rahmen des im jeweiligen Lebensbereich Alltäglichen oder Üblichen überschreitet. Ausschlaggebend ist also, dass sich der äussere Faktor vom Normalmass an Umwelteinwirkungen auf den menschlichen Körper abhebt. Ungewöhnliche Auswirkungen allein begründen keine Ungewöhnlichkeit (<ref-ruling> E. 4.3.1 S. 79 f. mit Hinweis; erwähntes Urteil SVR 2012 UV Nr. 11 E. 6.1).
Diese Grundsätze zum Begriffsmerkmal der Ungewöhnlichkeit gelten auch, wenn zu beurteilen ist, ob ein ärztlicher Eingriff den gesetzlichen Unfallbegriff erfüllt. Die Frage, ob eine ärztliche Vorkehr als mehr oder weniger ungewöhnlicher äusserer Faktor zu betrachten sei, ist aufgrund objektiver medizinischer Kriterien zu beantworten. Nach der Praxis ist es mit dem Erfordernis der Aussergewöhnlichkeit streng zu nehmen, wenn eine medizinische Massnahme in Frage steht. Damit eine solche Vorkehr als ungewöhnlicher äusserer Faktor qualifiziert werden kann, muss ihre Vornahme unter den jeweils gegebenen Umständen vom medizinisch Üblichen ganz erheblich abweichen und zudem, objektiv betrachtet, entsprechend grosse Risiken in sich schliessen. Im Rahmen einer Krankheitsbehandlung, für welche die Unfallversicherung nicht leistungspflichtig ist, kann ein Behandlungsfehler ausnahmsweise den Unfallbegriff erfüllen, nämlich wenn es sich um grobe und ausserordentliche Verwechslungen und Ungeschicklichkeiten oder sogar um absichtliche Schädigungen handelt, mit denen niemand rechnet noch zu rechnen braucht (<ref-ruling> E. 1b S. 38; <ref-ruling> E. 2b S. 284, je mit Hinweisen; vgl. aus jüngerer Zeit: erwähntes Urteil SVR 2012 UV Nr. 11 E. 6.1 mit weiteren Hinweisen).
Für Tatsachenfeststellungen bei der Beurteilung des Unfallcharakters eines Ereignisses gilt der im Sozialversicherungsrecht übliche Beweisgrad der überwiegenden Wahrscheinlichkeit (erwähntes Urteil SVR 2012 UV Nr. 11 E. 5 mit Hinweis; vgl. auch SVR 2011 UV Nr. 11 S. 39, 8C_693/2010 E. 3 und 4; 2009 UV Nr. 31 S. 109, 8C_552/2008 E. 2; 2008 UV Nr. 12 S. 38, U 71/07 E. 5.2.1).
5.2 Es steht fest und ist nicht umstritten, dass im Rahmen einer zahnärztlichen Behandlung bei mehrfachen, zur Anästhetisierung verabreichten Injektionen in den Unterkiefer des Versicherten der Nervus lingualis durch die Injektionsnadel verletzt wurde. Das hatte einen elektrisierenden Schmerz in der linken Zungenhälfte mit anschliessendem Taubheitsgefühl und Verlust der Geschmacksempfindung linksseitig zur Folge. Im weiteren Verlauf kam es überdies zu rhythmisch auftretenden elektrisierenden Schmerzen in der linken Zungenhälfte. Gemäss Gutachten H._ vom 9. März 2010 bestehen objektiv ein sensibles Ausfallsyndrom als stationäre Sensibilitätsstörung der linken seitlichen Zunge und an der linken Zungenspitze, ein sensorisches Ausfallsyndrom als stationäre Geschmacksstörung und ein subjektiv stereotypes neuropathisches Schmerzsyndrom.
Im Hinblick auf die Qualifikation des Ereignisses als Unfall ist streitig und zu prüfen, ob der Injektionsvorgang als äusserer Faktor das Begriffsmerkmal der Ungewöhnlichkeit erfüllt.
5.3 Das kantonale Gericht hat dies zusammengefasst mit der Begründung bejaht, es stehe fest, dass die Zahnärztin unsachgemäss mehrfach gestochen und der Versicherte ab diesem Zeitpunkt andauernde Probleme gehabt habe, der Nerv aktenkundig verletzt worden sei, eine Koinzidenz im Promillebereich bestehe und mangels Dokumentation nicht alle Eventualitäten ausgeschlossen werden könnten. Damit bleibe als einzige mögliche Schlussfolgerung, dass ein ungewöhnlicher äusserer Faktor vorliege und dieses Merkmal des Unfallbegriffs daher gegeben sei.
Die Beschwerdeführerin wendet namentlich ein, der Nerv sei durch die erste Injektion verletzt worden. Diese sei noch nicht als ungewöhnlich zu betrachten. Dass auch die weiteren Injektionen den Nerv verletzt hätten, sei nicht nachgewiesen.
Der Beschwerdegegner macht geltend, die weiteren Injektionen hätten den Nerv zusätzlich verletzt. Abgesehen davon würde hier die erste Injektion, da besonders ungeschickt erfolgt, genügen, um den äusseren Faktor als ungewöhnlich erscheinen zu lassen.
5.4 Im Gutachten H._ vom 9. März 2010 wird ausgeführt, das Risiko einer Nadelverletzung bestehe grundsätzlich immanent bei einer - hier bezweckten - Lokalanästhesie des Nervus mandibularis und liege im Rahmen des Behandlungsrisikos. Dabei könne aufgrund der anatomischen Situation auch der Nervus lingualis getroffen werden. Der Experte hält weiter fest, dass erfahrungsgemäss eine einmalige Stich-Nadelverletzung eines dieser beiden Nerven nicht zu anhaltenden sekundären Folgen führe und die vorliegende erhebliche Schädigung des Nervus lingualis vermuten lasse, es handle sich nicht um eine einfache und einmalige Nerv/Nadel-Penetration. Weitere Schlüsse seien mangels Dokumentation nicht möglich.
Prof. Dr. med. H._ äussert somit lediglich die Vermutung, der Nerv sei durch mehrere Nadelstichverletzungen geschädigt worden. Ob eine solche Mehrfachschädigung dennoch mit überwiegender Wahrscheinlichkeit angenommen werden kann, muss aber im Lichte der folgenden Erwägungen nicht abschliessend beantwortet werden:
5.4.1 Am 25. Januar 2005 fand auf Veranlassung der Beschwerdeführerin eine Besprechung dieses Falles statt, an welcher auch Prof. Dr. med. H._ und ein weiterer Facharzt teilnahmen. Dabei wurde gemäss dem - von Prof. Dr. med. H._ visierten - Besprechungsbericht vom 26. Januar 2005 festgehalten, es könne vorkommen, dass beim Setzen der Leitungsanästhesie der Nervus lingualis angestochen werde. Dieses "Anstechen" des Nervs beim Einführen der Injektionsnadel liege im normalen Behandlungsrisiko und entspreche keiner groben Ungeschicklichkeit.
Diese Aussagen lassen das alleinige (erstmalige) Anstechen des Nervs noch nicht als ungewöhnlich im Sinne des Unfallbegriffs erscheinen. Im Besprechungsbericht vom 26. Januar 2005 wird aber weiter ausgeführt, das Anstechen des Nervs werde von Zahnarzt und Patient sofort realisiert. In diesem Fall dürfe der Zahnarzt das Medikament auf keinen Fall applizieren, da dadurch der Nerv geschädigt werde. Ein solches Vorgehen entspreche dann einer Sorgfaltspflichtverletzung des Zahnarztes. Ausführlicher äussert sich Prof. Dr. med. H._ im Gutachten vom 9. März 2010 und - auf ihm gestellte Zusatzfragen hin - in der Stellungnahme vom September/Oktober 2010. Er hält fest, das Risiko einer Nervschädigung erhöhe sich, falls nach einer Nervpunktion das Anästhetikum bei intraneuraler Nadelposition erhöht werde oder bei dem vorgängig verletzten und anästhetisierten Nerven-Areal weitere Injektionen vorgenommen würden. Beides wäre als unkorrektes Management zu betrachten. Falls es zu einer Nervtangierung mit einem "symptomatischen Sofortschmerz" gekommen sei, sollte ohne eine Anästhetikum-Abgabe die Nadel sofort vollständig entfernt werden. Nach einer Latenzphase könne - mit Einwilligung des Patienten - eine erneute Lokalanästhesie mit anderem Einstichort und anderer Injektionsrichtung vorgenommen werden. Eine Anästhetikum-Abgabe erfolge jedoch erst, falls die Nadel ihren Zielpunkt erreicht habe und keine neurologischen Symptome eingetreten seien. Falls es zu dieser Symptomatik komme, sollte keinesfalls das Anästhetikum appliziert werden. Werde bei klinisch eindeutiger Nervpunktion oder Nervpenetration bei liegender Nadel ein Anästhetikum appliziert, handle es sich um einen Behandlungsfehler, da diese Massnahme zu einer Schädigung des Nervs führen könne.
Prof. Dr. med. B._ äussert sich in der neurologischen Beurteilung vom 17. April 2009 im Wesentlichen gleich. Er führt aus, die aufgetretene Schädigung könne sich nur aus der Injektion des Anästhetikums in den Nerv selber ergeben haben. Alleine das Anstechen des Nervs hätte nicht genügt, um eine Verletzung mit so dauerhaften und einschränkenden Wirkungen hervorzurufen. Falls während der Applikation des Lokalanästhetikums die Injektion Schmerz im Bereich des Nervs und nicht nur beschränkt auf den konkreten Injektionsort verursacht habe, hätte der behandelnde Arzt die Injektion abbrechen oder an anderer Stelle weiterführen müssen. Sicher hätte er (das Anästhetikum) nicht in den Nerv selber injizieren dürfen. Die Fortsetzung der Injektion bei Auftreten der gleichen Symptome müsse aufgrund der Gefahr einer physischen und chemischen Schädigung des Nervs als ausserordentlicher Vorgang und als Fehlbehandlung qualifiziert werden.
Ausgehend von den dargelegten fachärztlichen Stellungnahmen kann und muss sicher nicht damit gerechnet werden, dass bei einer zahnärztlichen Behandlung trotz Auftretens von Symptomen einer Punktion oder Penetration des Nervus lingualis Anästhetikum verabreicht resp. damit fortgefahren wird. Das hätte dann mithin als ungewöhnlich im Sinne des Unfallbegriffs zu gelten.
5.4.2 Im Gutachten H._ vom 9. März 2010 wird gestützt auf die Angaben der Zahnärztin und des Patienten ausgeführt, es sei "bei der Erstinjektion das entscheidende Symptom des 'Sofortschmerzes' bei einer Injektionsverletzung des Nervus lingualis" eingetreten. Der Experte hält weiter fest, es bleibe ungeklärt, ob bei dieser ersten Injektion Anästhetikum appliziert wurde. Es sei dann aber eine zweite Lokalanästhesie mit mehrfacher Nadelinsertion erfolgt, wobei gemäss Beschreibung des Patienten die gleiche Schmerzsymptomatik ("the same immediate and unimaginable pain in my tongue and face") aufgetreten sei. Auch gemäss der neurologischen Beurteilung des Prof. Dr. med. B._ vom 17. April 2009 wurde trotz Auftretens der geschilderten Symptomatik Anästhetikum verabreicht. Anhaltspunkte, welche dies in Frage stellen könnten, liegen nicht vor.
Demnach ist mit überwiegender Wahrscheinlichkeit davon auszugehen, dass das Anästhetikum verabreicht wurde, obwohl die genannten Symptome aufgetreten waren. Das Merkmal der Ungewöhnlichkeit des äusseren Faktors ist damit erfüllt. Dies führt zur Abweisung der Beschwerde.
6. Die Kosten des Verfahrens sind von der unterliegenden Beschwerdeführerin zu tragen (<ref-law>). Diese hat dem Beschwerdegegner überdies eine Parteientschädigung auszurichten (Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 750.- werden der Beschwerdeführerin auferlegt.
3. Die Beschwerdeführerin hat den Beschwerdegegner für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Gesundheit schriftlich mitgeteilt.
Luzern, 20. November 2012
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Der Gerichtsschreiber: Lanz