Faits : A. X._ était le médecin traitant de E._ depuis 1992. Ce dernier l'a notamment consulté le 22 novembre 2002 pour un point ressenti dans la poitrine et une gêne respiratoire. Cela a amené X._ à pratiquer un cliché thoracique et à adresser son patient à un radiologue qui a établi un rapport le 27 novembre 2002. Entre fin 2002 et août 2009, E._ s'est rendu à diverses reprises chez son médecin-traitant, notamment pour des douleurs dans le dos ainsi qu'en haut de la poitrine du côté droit et, au cours de l'année 2007, pour une toux chronique. Le 14 novembre 2008, X._ a adressé E._, qui souffrait alors de douleurs inter-omoplates et de lombalgies, au Dr. F._, spécialiste FMH en gastroentérologie, en raison d'une symptomatologie de reflux gastro-oesophagien associée à une toux. Le 5 août 2009, E._ a consulté le Dr. F._ de sa propre initiative. Les examens pratiqués ont montré la présence d'un carcinome pulmonaire lobaire supérieur droit de stade IV. A la suite de cette annonce, E._ a sollicité l'avis de plusieurs médecins pour évaluer la qualité du suivi médical dont il avait fait l'objet depuis 2002 et le pronostic qui pouvait être fait quant à l'évolution de sa maladie. E._ a déposé plainte contre X._ le 30 juin 2011. Il est décédé le 23 juillet 2011, laissant pour héritiers légaux son épouse A._ et leurs trois enfants B._, D._ et C._. B. Par ordonnance du 8 février 2012, le Ministère public de la République et canton de Genève a refusé d'entrer en matière sur la plainte. Cette décision a été annulée par arrêt du 16 mai 2012 de la Chambre pénale de recours de la Cour de justice de la République et canton de Genève. Cette autorité a invité le ministère public à ouvrir une instruction et à ordonner une expertise judiciaire. Cela fait, le ministère public a, par ordonnance du 10 octobre 2014, classé la procédure ouverte à l'encontre de X._ pour lésions corporelles par négligence, voire lésions corporelles graves par dol éventuel. C. Par arrêt du 16 février 2015, la Chambre pénale de recours de la Cour de justice de la République et canton de Genève a déclaré irrecevable le recours formé par B._, D._ et C._ contre cette ordonnance. Elle a rejeté celui interjeté par A._ ainsi que les prétentions de X._ en indemnisation. La Chambre pénale de recours a estimé que les trois enfants du défunt ayant renoncé sur le plan civil à leurs droits de succession en faveur de leur mère, ils n'étaient pas titulaires de prétentions civiles en indemnisation revenant le cas échéant à leur père, puisqu'ils ne sont plus les héritiers du lésé. Dès lors qu'ils ne prétendaient pas faire valoir des conclusions civiles propres déduites de la ou des infractions dénoncées, ils n'avaient par conséquent pas la qualité pour recourir contre l'ordonnance du 10 octobre 2014, seule A._, épouse du défunt, ayant cette qualité. Au vu des avis médicaux et judiciaire déposés, la Chambre pénale de recours a jugé que X._, qui occupait envers E._ une position de garant, avait violé les règles de l'art médical s'agissant de l'absence de contrôle par imagerie pulmonaire durant la période (selon l'expert, suivi par l'autorité cantonale, " dans les mois " [arrêt, p. 18 consid. 3.3]) qui a suivi la consultation de novembre 2002 ainsi que lors de la consultation de novembre 2008. Elle a cependant nié que X._ ait agi intentionnellement, même par dol éventuel. Seules des infractions commises par négligence pouvaient ainsi lui être imputées. Les faits survenus en 2002 étaient toutefois prescrits. Quant aux omissions de 2008, il n'apparaissait pas établi, avec une vraisemblance suffisante, que des investigations supplémentaires menées en novembre 2008 et un diagnostic plus précoce auraient permis d'éviter l'aggravation de l'état de santé et, à terme, le décès de E._. Le classement prononcé, fondé sur l'art. 319 al. 1 let. d CPP, était donc justifié. D. A._, B._, D._ et C._ forment un recours en matière pénale auprès du Tribunal fédéral contre l'arrêt du 16 février 2015. Ils concluent, avec suite de frais et dépens, à ce qu'il soit dit que l'action pénale à l'encontre de X._ n'est pas prescrite, à ce que la procédure soit renvoyée au ministère public pour suite d'instruction, éventuellement renvoi devant l'autorité de jugement ou prononcé d'une ordonnance pénale.