Faits:
A. Marié et père de deux enfants, D._ travaillait comme "account manager" au service de la société X._ AG. A ce titre, il était assuré contre le risque d'accident auprès de la Caisse nationale suisse d'assurance en cas d'accidents (CNA).
Le 16 mars 2006, se sentant anxieux, D._ a consulté le docteur S._, généraliste et médecin traitant, qui lui a prescrit deux médicaments (Y._ et Z._) pour le calmer et le détendre. Le soir même puis le lendemain matin, l'intéressé a pris un comprimé de chacun de ces produits pharmaceutiques. Le 17 mars 2006, après que D._ et son épouse, A._, se sont levés ensemble à six heures trente, celle-ci a près d'une heure plus tard emmené sa fille chez la maman de jour et son fils à l'école. A son retour, à huit heures trente, elle a découvert le corps de son époux, étendu sur le lit de la chambre à coucher; il s'était donné la mort au moyen d'une arme à feu.
Informé de cet événement par l'employeur de l'assuré, la CNA a pris des renseignements auprès des docteurs S._, généraliste et médecin traitant, et O._, spécialiste FMH en psychiatrie et psychothérapie (questionnaires des 13 août et 17 septembre 2007). Celui-ci avait suivi D._ à partir du 25 juin 2004, en lui administrant un traitement médicamenteux (Y._) pendant plusieurs mois. Après avoir requis l'avis du docteur I._, spécialiste FMH en psychiatrie et psychothérapie et médecin d'arrondissement, la CNA a refusé d'allouer des prestations, à l'exception de l'indemnité pour frais funéraires, motif pris que le défunt s'était donné la mort volontairement (décision du 22 octobre 2007).
A._ a fait opposition à cette décision, en concluant principalement à l'octroi de rentes de survivants, à elle et à ses deux enfants B._ et C._. La CNA a rejeté l'opposition le 12 mars 2008.
B. A._ et ses enfants ont déféré cette décision au Tribunal cantonal des assurances sociales du canton de Genève (aujourd'hui, Cour de justice du canton de Genève, Chambre des assurances sociales). En cours de procédure, l'assureur-accidents a produit un rapport de la doctoresse L._, spécialiste FMH en psychiatrie et psychothérapie, de sa division de médecine des accidents (du 3 septembre 2008, complété le 22 octobre suivant). De leur côté, A._ et ses enfants ont déposé les avis du docteur N._, spécialiste FMH en médecine interne, spécialement pharmacologie clinique (du 15 mars 2009), et du docteur E._, consultant en pharmacologie clinique (du 31 octobre 2009).
Par jugement du 27 octobre 2011, la Cour de justice genevoise a rejeté le recours.
C. A._ et ses enfants interjettent un recours en matière de droit public contre ce jugement, dont ils demandent l'annulation. Sous suite de frais et dépens, ils concluent principalement à la mise en oeuvre d'une expertise auprès d'un médecin spécialiste en pharmacologie. A titre subsidiaire, ils demandent à ce qu'il soit constaté que le décès de D._ constitue un accident, ainsi que le renvoi de la cause à la CNA, pour qu'elle détermine les prestations qui leur sont dues.
La CNA conclut au rejet du recours, tandis que l'Office fédéral de la santé publique a renoncé à se déterminer.
Considérant en droit:
1. La procédure porte sur l'octroi ou le refus de prestations en espèces de l'assurance-accidents, de sorte que le Tribunal fédéral n'est pas lié par les faits établis par l'autorité précédente (art. 105 al. 3 LTF).
2. 2.1 Le litige porte sur le droit des recourants à une rente de survivants de la part de l'intimée en raison du décès de l'assuré dû à un suicide, ce que les parties ne contestent pas.
2.2 Le jugement entrepris expose correctement les règles légales (art. 4 LPGA, 6 al. 1 et 37 al. 1 LAA, 48 OLAA) et la jurisprudence sur les conditions dans lesquelles les suites d'un suicide sont prises en charge par l'assurance-accidents; il suffit d'y renvoyer.
Il rappelle à juste titre que le suicide comme tel n'est un accident assuré, conformément à l'art. 48 OLAA, que s'il a été commis dans un état d'incapacité de discernement au sens de l'art. 16 CC (dans sa version en vigueur jusqu'au 31 décembre 2012, applicable en l'espèce). Par conséquent, il faut, pour entraîner la responsabilité de l'assureur-accidents, qu'au moment de l'acte et compte tenu de l'ensemble des circonstances objectives et subjectives, l'intéressé ait été privé de toute possibilité de se déterminer raisonnablement, en raison notamment d'une maladie mentale ou d'une faiblesse d'esprit (ATF 113 V 61 consid. 2a p. 62; RAMA 1990 no U 96 p. 182 consid. 2; ATF 115 V 151 consid. 2b publié dans RAMA 1989 no U 84 p. 448). L'existence d'une maladie psychique ou d'un grave trouble de la conscience doit être établie conformément à la règle du degré de vraisemblance prépondérante (ATF 129 V 177 consid. 3.1 p. 181, 119 V 335 consid. 1 p. 338, 118 V 286 consid. 1b p. 289 s.). Il doit s'agir de symptômes psychopathologiques comme la folie, les hallucinations, la stupeur profonde, le raptus, etc. Le motif qui a conduit au suicide ou à la tentative doit être en relation avec les symptômes psychopathologiques. L'acte doit apparaître "insensé". Un simple geste disproportionné, au cours duquel le suicidaire apprécie unilatéralement et précipitamment sa situation dans un moment de dépression et de désespoir ne suffit pas (voir p. ex. arrêt U 25/05 du 21 février 2006 consid. 2.2; KIND, Suizid oder "Unfall", Die psychiatrischen Voraussetzungen für die Anwendung von Art. 48 UVV, RSA 1993 p. 291).
Pour établir l'absence de capacité de discernement, il ne suffit pas de considérer l'acte de suicide et, partant, d'examiner si cet acte est déraisonnable, inconcevable ou encore insensé. Il convient bien plutôt d'examiner, compte tenu de l'ensemble des circonstances, en particulier du comportement et des conditions d'existence de l'assuré avant le suicide, s'il était raisonnablement en mesure d'éviter ou non de mettre fin ou de tenter de mettre fin à ses jours. Le fait que le suicide en soi s'explique seulement par un état pathologique excluant la libre formation de la volonté ne constitue qu'un indice d'une incapacité de discernement (RAMA 1996 n° U 267 p. 309 consid. 2b et les références).
3. Il s'agit, en l'occurrence, d'examiner si, au moment où il s'est donné la mort, D._ était, sans faute de sa part, totalement incapable de se comporter raisonnablement.
Tel n'était pas le cas, selon la juridiction cantonale, parce que le médicament pris par l'assuré (Y._) n'avait pas pu altérer son comportement au point de lui ôter toute capacité de discernement. L'assuré avait en effet déjà été soigné en 2004 par ce produit qu'il avait bien toléré à l'époque, comme l'avait attesté le docteur O._. Par ailleurs, les conclusions de la doctoresse L._, selon lesquelles on ne pouvait admettre avec vraisemblance que l'assuré se trouvait dans un état d'abolition totale de jugement lors du suicide, étaient convaincantes, à l'inverse des affirmations péremptoires du docteur N._.
Les recourants soutiennent en revanche que D._ avait agi dans un état d'incapacité totale de discernement à la suite de l'absorption de Y._. Ils reprochent à la juridiction cantonale d'avoir retenu de façon erronée que les circonstances objectives et subjectives entourant le geste du 17 mars 2006 corroboraient les conclusions des médecins de la CNA. Elle avait, d'une part, manqué de prendre en considération le rapport du docteur E._, qui avait conclu que le suicide de l'assuré était, avec une probabilité de 80 %, consécutif à la prise de Y._. Elle avait ensuite méconnu les circonstances de l'événement en cause, dont il ressortait que l'assuré avait eu un comportement inexplicable (il n'avait aucune raison de se donner la mort et n'avait laissé aucun mot d'explication). Compte tenu des rapports contradictoires des médecins de la CNA, d'une part, et des spécialistes en pharmacologie qu'ils avaient mandatés, d'autre part, l'autorité judiciaire de première instance aurait été tenue, selon les recourants, de mettre en oeuvre une expertise susceptible de trancher entre les deux avis divergents.
4. 4.1 Il ressort du dossier que l'assuré, qui avait connu une première phase de dépression à la naissance de son fils en 1997, avait souffert en juin 2004 d'un état dépressif majeur. Ce trouble avait été traité de manière efficace par la prise de Y._ jusqu'à la fin du mois de novembre 2004, le médicament ayant été bien supporté par le patient, qui n'avait pas eu d'idées suicidaires (réponses du docteur O._ du 13 août 2007 aux questions de la CNA). L'assuré avait à nouveau souffert d'un épisode dépressif similaire en mars 2006 et consulté le docteur S._, en l'absence du docteur O._, le 16 mars 2006. Le médecin traitant a indiqué qu'à cette date, l'assuré ne présentait pas de troubles de comportement ni de signes psychotiques, mais se plaignait notamment d'un état anxieux et de troubles de la concentration (réponses du 17 septembre 2007 aux questions de la CNA).
Il résulte par ailleurs des déclarations de l'épouse de l'assuré en cours de procédure administrative que celui-ci avait pris les médicaments prescrits par le docteur S._ (dont Y._) le 16 mars 2006, ainsi que le lendemain matin, qu'il s'était ce jour-là levé comme d'habitude à six heures trente, l'avait aidée à préparer les enfants et lui avait indiqué l'attendre alors qu'elle emmenait les enfants à l'école, afin de partir ensemble au travail. A son retour, la recourante avait trouvé son mari étendu sur le lit, habillé pour aller au travail, avant de réaliser qu'il était mort. Elle n'arrivait pas à s'expliquer l'acte de son époux, qui n'avait jamais parlé de tentative ou de suicide, même dans ses périodes de déprime (rapport d'audition de la CNA du 16 juillet 2007).
4.2 Au regard des faits ainsi constatés, et en particulier des circonstances entourant le décès de l'assuré, chacune des parties a mandaté un médecin pour se prononcer sur la capacité de discernement de feu D._ au moment de son suicide.
4.2.1 Dans son rapport du 3 septembre 2008 élaboré à la demande de l'intimée, complété le 22 octobre suivant à la suite d'un courrier du conseil des recourants, la doctoresse L._ a conclu qu'on ne pouvait admettre avec vraisemblance que l'assuré avait agi dans un état d'abolition totale de jugement au moment de passer à l'acte. Il ne ressortait en effet ni du dossier, ni de la discussion qu'elle avait eue avec l'épouse de l'assuré, qu'il y avait eu une manifestation psychotique de dépression: aucun état d'excitation et aucune attaque de panique n'avaient été préalablement observés, et l'assuré avait pris un médicament antidépresseur, qui avait été bien toléré lors d'un traitement précédent et de surcroît associé à une substance ayant un effet décontractant et tranquillisant. Selon le médecin, il était par conséquent improbable que la médication eût eu un effet défavorable dans le sens d'un état d'anxiété ou d'excitation massif dans le cadre duquel le suicide se serait produit. Il n'était pas non plus possible de postuler un effet paradoxal rarement décrit des tranquillisants, qui, au lieu de calmer, exerçaient un effet d'agitation, d'excitation ou de psychose. L'assuré avait la veille de l'acte pris la première dose de Y._ et de tranquillisant et n'avait présenté aucun symptôme particulier.
4.2.2 A l'inverse, à la suite des conclusions du docteur N._, selon lesquelles il n'y avait aucun doute que la mort de l'assuré avait été causée par la prise de Y._ (rapport du 15 mars 2009), le docteur E._ s'est également prononcé dans ce sens le 31 octobre 2009. Ce spécialiste en pharmacologie a tout d'abord indiqué avoir effectué des recherches sur les effets secondaires défavorables de traitements médicamenteux, en particulier en relation avec les médicaments antidépresseurs connus sous le nom d'inhibiteurs sélectifs de la recapture de la sérotonine (ISRS, en anglais, SSRI ["Selective serotonin reuptake inhibitors"]). Avec ses collègues L._ et M._, il est arrivé à la conclusion que les antidépresseurs de type SSRI pouvaient provoquer des états d'anxiété, d'agitation, des crises de panique, une insomnie, une impulsivité et une akathisie (agitation psychomotrice), qui pouvait être si intense que la personne pouvait vouloir mourir. Par ailleurs, le suicide était un risque établi du traitement avec Y._, ce risque étant mentionné dans le résumé officiel des caractéristiques des produits distribué au médecin. Les recherches du docteur E._ lui avaient également montré que l'élément temporel ("timing") entre le suicide et la prise de médicament constituait un facteur important; dans 10 cas sur un total de 34 cas pertinents, les réactions extrêmes (pensées/actes de violence ou d'auto-violence) étaient survenues lors du premier ou second jour du traitement.
En ce qui concerne la situation particulière de D._, le docteur E._ a conclu qu'au regard du dosage et du déroulement temporel de la prise de médicament par l'assuré, il était hautement probable (plus de 80 % de probabilité) que Y._ combinée au tranquillisant avait causé le suicide commis dans un état d'angoisse et de panique soudaine et incontrôlable. Selon le médecin, les faits avancés par sa consoeur L._ pour retenir que le suicide ne pouvait pas être attribué à Y._ (comportement normal de l'assuré et absence d'agitation après la prise du médicament) démontraient précisément le contraire. L'acte soudain de l'assuré, qui s'était comporté normalement et n'avait montré aucune idée suicidaire, ne correspondait pas à un suicide prémédité ou planifié; sa normalité indiquait qu'il avait été surpassé par une angoisse et une soudaine panique extraordinaire qui l'avaient poussé à se suicider. Le médecin a par ailleurs indiqué que la doctoresse L._ n'avait pas pris en considération l'akathisie liée au suicide, ni mentionné que le tranquillisant utilisé intensifiait la désinhibition causée par Y._.
4.3 A la suite des premiers juges, on peut sans plus ample examen écarter l'avis du docteur N._, puisque ce médecin s'est limité à affirmer que la prise de Y._ avait causé la mort de l'assuré, en se fondant uniquement sur la mise en garde du producteur de ce médicament quant au risque de suicide et non sur les circonstances concrètes de l'événement du 16 mars 2006.
A ce stade, il n'est en revanche pas possible de départager les évaluations contradictoires de la doctoresse L._ et du docteur E._, dont l'appréciation produite en instance cantonale n'a pas été évoquée dans le jugement entrepris. Dans leurs rapports respectifs, qui revêtent une valeur probante équivalente et reposent sur des arguments circonstanciés de part et d'autre, l'experte administrative et l'expert privé se fondent, dans l'ensemble, sur les mêmes éléments de fait pour en donner une interprétation totalement opposée quant à la capacité de discernement de l'assuré au moment de son passage à l'acte fatal. A l'inverse de sa consoeur L._, le docteur E._ ne mentionne certes pas le fait que l'assuré avait déjà suivi avec succès un traitement par Y._ en 2004, et n'explique donc pas les raisons pour lesquelles une réaction totalement différente (et extrême) à la prise de médicament serait survenue moins de deux ans plus tard, selon la vraisemblance prépondérante. Son appréciation met cependant en doute celle de l'experte administrative, puisque le spécialiste en pharmacologie relève que sa consoeur a nié l'effet négatif de la médication sans prendre en considération l'agitation psychomotrice (soudaine et extraordinaire) que pouvait causer Y._ (associée à un tranquillisant) et en se référant à une étude médicale qu'il considérait comme non pertinente pour se prononcer sur le décès de l'assuré.
Par conséquent, en l'absence d'éléments objectifs indiscutables qui permettraient de choisir entre les deux avis en cause, il se justifie d'ordonner une expertise judiciaire dont la mise en oeuvre sera assurée par la juridiction cantonale. Dans ce cadre, il pourrait se révéler utile de confier la réalisation de l'expertise à un médecin spécialiste en pharmacologie. Il convient dès lors d'annuler le jugement entrepris et de renvoyer la cause à l'autorité judiciaire de première instance pour qu'elle en complète l'instruction en ce sens, puis rende un nouveau jugement. La conclusion principale du recours est, partant, bien fondée, ce qui conduit à l'admission du recours.
5. Vu l'issue de la procédure, les frais judiciaires seront mis à la charge de l'intimée (art. 66 al. 1 LTF), de même que l'indemnité à titre de dépens à laquelle ont droit les recourants (art. 68 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis et la décision de la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, du 27 octobre 2011 annulée. La cause est renvoyée à l'autorité précédente pour instruction complémentaire et nouvelle décision.
2. Les frais judiciaires, arrêtés à 750 fr., sont mis à la charge de l'intimée.
3. L'intimée versera aux recourants la somme de 2'800 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4. Le présent arrêt est communiqué aux parties, à la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, et à l'Office fédéral de la santé publique.
Lucerne, le 8 janvier 2013
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Juge présidant: Ursprung
La Greffière: Moser-Szeless