Faits :
A.
X._ était le médecin traitant de E._ depuis 1992. Ce dernier l'a notamment consulté le 22 novembre 2002 pour un point ressenti dans la poitrine et une gêne respiratoire. Cela a amené X._ à pratiquer un cliché thoracique et à adresser son patient à un radiologue qui a établi un rapport le 27 novembre 2002. Entre fin 2002 et août 2009, E._ s'est rendu à diverses reprises chez son médecin-traitant, notamment pour des douleurs dans le dos ainsi qu'en haut de la poitrine du côté droit et, au cours de l'année 2007, pour une toux chronique. Le 14 novembre 2008, X._ a adressé E._, qui souffrait alors de douleurs inter-omoplates et de lombalgies, au Dr. F._, spécialiste FMH en gastroentérologie, en raison d'une symptomatologie de reflux gastro-oesophagien associée à une toux.
Le 5 août 2009, E._ a consulté le Dr. F._ de sa propre initiative. Les examens pratiqués ont montré la présence d'un carcinome pulmonaire lobaire supérieur droit de stade IV.
A la suite de cette annonce, E._ a sollicité l'avis de plusieurs médecins pour évaluer la qualité du suivi médical dont il avait fait l'objet depuis 2002 et le pronostic qui pouvait être fait quant à l'évolution de sa maladie. E._ a déposé plainte contre X._ le 30 juin 2011. Il est décédé le 23 juillet 2011, laissant pour héritiers légaux son épouse A._ et leurs trois enfants B._, D._ et C._.
B.
Par ordonnance du 8 février 2012, le Ministère public de la République et canton de Genève a refusé d'entrer en matière sur la plainte. Cette décision a été annulée par arrêt du 16 mai 2012 de la Chambre pénale de recours de la Cour de justice de la République et canton de Genève. Cette autorité a invité le ministère public à ouvrir une instruction et à ordonner une expertise judiciaire.
Cela fait, le ministère public a, par ordonnance du 10 octobre 2014, classé la procédure ouverte à l'encontre de X._ pour lésions corporelles par négligence, voire lésions corporelles graves par dol éventuel.
C.
Par arrêt du 16 février 2015, la Chambre pénale de recours de la Cour de justice de la République et canton de Genève a déclaré irrecevable le recours formé par B._, D._ et C._ contre cette ordonnance. Elle a rejeté celui interjeté par A._ ainsi que les prétentions de X._ en indemnisation.
La Chambre pénale de recours a estimé que les trois enfants du défunt ayant renoncé sur le plan civil à leurs droits de succession en faveur de leur mère, ils n'étaient pas titulaires de prétentions civiles en indemnisation revenant le cas échéant à leur père, puisqu'ils ne sont plus les héritiers du lésé. Dès lors qu'ils ne prétendaient pas faire valoir des conclusions civiles propres déduites de la ou des infractions dénoncées, ils n'avaient par conséquent pas la qualité pour recourir contre l'ordonnance du 10 octobre 2014, seule A._, épouse du défunt, ayant cette qualité.
Au vu des avis médicaux et judiciaire déposés, la Chambre pénale de recours a jugé que X._, qui occupait envers E._ une position de garant, avait violé les règles de l'art médical s'agissant de l'absence de contrôle par imagerie pulmonaire durant la période (selon l'expert, suivi par l'autorité cantonale, " dans les mois " [arrêt, p. 18 consid. 3.3]) qui a suivi la consultation de novembre 2002 ainsi que lors de la consultation de novembre 2008. Elle a cependant nié que X._ ait agi intentionnellement, même par dol éventuel. Seules des infractions commises par négligence pouvaient ainsi lui être imputées. Les faits survenus en 2002 étaient toutefois prescrits. Quant aux omissions de 2008, il n'apparaissait pas établi, avec une vraisemblance suffisante, que des investigations supplémentaires menées en novembre 2008 et un diagnostic plus précoce auraient permis d'éviter l'aggravation de l'état de santé et, à terme, le décès de E._. Le classement prononcé, fondé sur l'art. 319 al. 1 let. d CPP, était donc justifié.
D.
A._, B._, D._ et C._ forment un recours en matière pénale auprès du Tribunal fédéral contre l'arrêt du 16 février 2015. Ils concluent, avec suite de frais et dépens, à ce qu'il soit dit que l'action pénale à l'encontre de X._ n'est pas prescrite, à ce que la procédure soit renvoyée au ministère public pour suite d'instruction, éventuellement renvoi devant l'autorité de jugement ou prononcé d'une ordonnance pénale.

Considérant en droit :
1.
La question de la qualité des recourants pour former un recours en matière pénale auprès du Tribunal fédéral peut rester ouverte au vu du sort donné à leur recours.
Tel est également le cas de la question de la qualité pour recourir en instance cantonale qui a été déniée par l'autorité précédente aux enfants de E._, ce dont se plaignent les recourants. En effet, si le Tribunal fédéral devait constater que les enfants de E._ avaient la qualité pour recourir devant l'instance précédente, il devrait annuler partiellement l'arrêt attaqué et renvoyer la cause à cette autorité pour qu'elle statue au fond sur les conclusions des enfants de E._. Or cette autorité a déjà statué au fond sur le bien-fondé de telles conclusions, dès lors qu'elle a examiné, et rejeté, celles prises à l'identique par leur mère, mère et enfants procédant conjointement. Par économie de procédure et afin d'éviter un renvoi inutile, il se justifie donc d'examiner immédiatement si le classement était justifié.
2.
Le Tribunal fédéral est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. Il n'entre pas en matière sur les critiques de nature appellatoire et n'examine la violation de droits fondamentaux que si ce moyen est invoqué et motivé par le recourant (<ref-law>), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée (<ref-ruling> consid. 1.3.1 p. 253).
Il résulte de ce qui précède que les faits ne résultant pas de l'arrêt attaqué, que les recourants invoquent sans démontrer l'arbitraire de leur omission, ne seront pas pris en compte. Les griefs invoquées, dans la mesure où ils sont fondés sur de tels faits, sont irrecevables.
3.
Les recourants ne contestent pas l'absence d'infraction intentionnelle par l'intimé. Ils ne contestent pas non plus que la violation de ses obligations professionnelles en 2008 ne se trouvait pas dans un rapport de causalité suffisant avec les lésions corporelles graves puis le décès de E._. Ils contestent uniquement que l'action pénale relative aux faits survenus en novembre 2002 soit prescrite. Ils soutiennent à cet égard que l'obligation juridique d'agir de l'intimé ne se serait pas éteinte à réception du rapport du radiologue du 27 novembre 2002 ou dans les mois qui ont suivi, mais aurait perduré tout au long de la relation thérapeutique qui a pris fin le 11 août 2009, à la suite de la résiliation de cette relation par E._. L'omission fautive reprochée à l'intimé se serait répétée à chaque consultation jusqu'à la découverte en 2009 de la maladie. Les recourants invoquent une violation de l'art. 71 aCP, respectivement 98 CP, et de l'art. 6 par. 1 CEDH.
3.1. Il convient tout d'abord de déterminer le délai de prescription de l'action pénale pour les accusations ayant trait aux faits survenus en novembre 2002.
3.1.1. Aux termes de l'<ref-law>, sauf disposition contraire de la loi, les dispositions du nouveau droit concernant la prescription de l'action pénale et des peines sont applicables également aux auteurs d'actes commis ou jugés avant l'entrée en vigueur du nouveau droit si elles lui sont plus favorables que celles de l'ancien droit.
3.1.2. L'homicide par négligence (<ref-law>) comme les lésions corporelles par négligence (<ref-law>) - infractions dont les recourants accusent l'intimé - étaient sanctionnées de l'emprisonnement de trois ans au plus ou de l'amende et, depuis le 1er janvier 2007, par une peine privative de liberté de trois ans au plus ou d'une peine pécuniaire.
3.1.3. Aux termes de l'art. 70 aCP (en vigueur depuis le 1er octobre 2002 et devenu l'art. 97 aCP), l'action pénale se prescrivait par 30 ans si l'infraction est passible d'une peine de réclusion à vie (let. a), par 15 ans si elle est passible d'une peine d'emprisonnement de plus de trois ans ou d'une peine de réclusion (let. b) et par sept ans si elle est passible d'une autre peine (let. c).
Aux termes de l'<ref-law>, dans sa teneur en vigueur depuis le 1er janvier 2014, l'action pénale se prescrit par dix ans si la peine maximale encourue est une peine privative de liberté de trois ans (let. c) et par sept ans si la peine maximale encourue est une autre peine (let. d).
3.1.4. Il résulte de ce qui précède que l'<ref-law> dans sa version actuelle est moins favorable à l'intimé que l'<ref-law> / 97 aCP. C'est donc ces deux dernières dispositions qui sont applicables aux faits survenus en novembre 2002. L'action pénale se prescrivait ainsi, s'agissant des accusations d'homicide par négligence, respectivement de lésions corporelles par négligence, par sept ans.
3.2. Le point de départ du délai de prescription est régi par l'<ref-law>, identique à l'art. 71 aCP entré en vigueur le 1er octobre 2002. La prescription court du jour où l'auteur a exercé son activité coupable (let. a), du jour où le dernier acte a été commis, si cette activité s'est exercée à plusieurs reprises (let. b) ou du jour où les agissements coupables ont cessé, s'ils ont eu une certaine durée (let. c).
3.2.1. La jurisprudence au sujet de l'<ref-law> a évolué au fil du temps, le Tribunal fédéral abandonnant la notion de délit successif au profit de celle d'unité du point de vue de la prescription. Cette dernière notion a ensuite été remplacée par la figure de l'unité juridique ou naturelle d'actions (cf. <ref-ruling> consid. 2.4.1 ss p. 90 ss). L'unité juridique d'actions existe lorsque le comportement défini par la norme présuppose, par définition, la commission d'actes séparés, tel le brigandage (<ref-law>), mais aussi lorsque la norme définit un comportement durable se composant de plusieurs actes, par exemple les délits de gestion fautive (<ref-law>), ou de services de renseignements politiques ou économiques (art. 272 et 273 CP). L'unité naturelle d'actions existe lorsque des actes séparés procèdent d'une décision unique et apparaissent objectivement comme des événements formant un ensemble en raison de leur relation étroite dans le temps et dans l'espace. Elle vise ainsi la commission répétée d'infractions - par exemple, une volée de coups - ou la commission d'une infraction par étapes successives - par exemple, le sprayage d'un mur avec des graffitis pendant plusieurs nuits successives - une unité naturelle étant cependant exclue si un laps de temps assez long s'est écoulé entre les différents actes, quand bien même ceux-ci seraient liés entre eux (<ref-ruling> consid. 3.1.1.3 p. 54 s.). La notion d'unité naturelle d'actions doit être interprétée restrictivement, pour éviter de réintroduire sous une autre forme la figure du délit successif ou celle d'unité du point de vue de la prescription. Elle ne sera donc admise qu'à la double condition que les faits punissables procèdent d'une décision unique et se traduisent, dans le temps et dans l'espace, par des actes suffisamment rapprochés pour former un tout (cf. arrêt 6B_310/2014 du 23 novembre 2015 consid. 4.2 et arrêts cités). La jurisprudence susmentionnée trouve application à la présente affaire, alors même qu'elle a été développée après 2002 (cf. <ref-ruling> consid. 3.2 p. 85).
A teneur de l'art. 98 let. c CP, la prescription court dès le jour où les agissements coupables ont cessé s'ils ont eu une certaine durée. On parle alors d'infraction continue, en ce sens que les actes qui créent la situation illégale forment une unité avec les actes qui la perpétuent ou avec l'omission de la faire cesser, pour autant que le comportement visant au maintien de l'état de fait délictueux soit expressément ou implicitement contenu dans les éléments constitutifs de l'infraction (<ref-ruling> consid. 3.1.2.2 p. 55).
3.2.2. En l'espèce, l'arrêt attaqué retient que E._ a consulté l'intimé à diverses reprises entre fin 2002 et août 2009. S'agissant de la question de l'éventualité d'une unité naturelle d'actions, l'arrêt attaqué ne constate pas que l'omission de procéder, entre 2002 et 2009, à des examens propres à déceler un carcinome et à le soigner aurait relevé, dans l'esprit de l'intimé, d'une décision unique. Il retient que les consultations entre 2002 et 2009 étaient espacées par de longues périodes. Ces éléments excluent d'admettre une unité naturelle d'actions entre les différentes omissions reprochées par les recourants à l'intimé. Les conditions permettant de retenir une infraction continue ne sont pas non plus réunies.
3.2.3. Il résulte de ce qui précède que le point de départ de l'action pénale n'est pas régi par les art. 71 let. b ou c aCP / art. 98 let. b ou c CP, mais, à défaut, par l'art. 71 let. a aCP, respectivement <ref-law>. En vertu de cette dernière disposition, le délai de prescription de sept ans de l'action pénale a commencé à courir dès la consultation litigieuse de novembre 2002, voire dans les mois qui ont suivis. Il était donc largement atteint lors du dépôt de plainte le 30 juin 2011.
3.3. Les recourants invoquent l'arrêt publié aux <ref-ruling>. Cet arrêt retient, ad consid. 5, que l'application dans le temps des dispositions sur l'indemnisation et la réparation morale aux victimes, prévues aux art. 11 ss de loi fédérale du 4 octobre 1991 sur l'aide aux victimes d'infractions (aLAVI, abrogée au 1er janvier 2009) ne dépend pas uniquement du comportement contraire au devoir de vigilance, mais bien plutôt du moment où survient le résultat constitutif de l'infraction. Cette jurisprudence ne concerne que le départ du délai de prescription des actions visées par l'ancienne LAVI, non celui des délais de prescription de l'action pénale (cf. <ref-ruling> consid. 3.3 p. 9). Le grief est infondé.
3.4. Les recourants estiment que l'application stricte des règles de droit interne en matière de computation du délai de prescription viole l'art. 6 par. 1 CEDH. Ils se réfèrent aux arrêts CEDH Howald Moor et autres c. Suisse du 11 mars 2014 et Esim c. Turquie du 17 septembre 2013. Ces arrêts ont admis une violation de l'art. 6 CEDH dans le cadre de procédures administrative ouvertes par des lésés ou proches de lésés contre la Caisse nationale suisse d'assurance d'une part, l'Etat turc d'autre part.
L'art. 6 par. 1 CEDH prescrit que " toute personne a droit à ce que sa cause soit entendue équitablement, publiquement et dans un délai raisonnable, par un tribunal indépendant et impartial, établi par la loi, qui décidera, soit des contestations sur ses droits et obligations de caractère civil, soit du bien-fondé de toute accusation en matière pénale dirigée contre elle ". Cette disposition se rapporte à des droits et obligations de caractère civil et au bien-fondé d'une accusation pénale dirigée contre une personne, mais non des deux en même temps. La personne lésée par une infraction pénale ne peut ainsi pas invoquer les garanties prévues par l'art. 6 CEDH pour obtenir l'ouverture, a fortiori la continuation d'une procédure pénale contre un tiers (cf. <ref-ruling> consid. 4.3.5 p. 306; arrêt 6B_479/2013 du 30 janvier 2014 consid. 3.1).
En l'espèce, le grief de violation de l'art. 6 par. 1 CEDH est formulé par les recourants en tant que héritiers de E._, mais également en tant que proches touchés, dans le cadre d'une procédure pénale afin d'en obtenir la continuation. Conformément à la jurisprudence qui précède, il est infondé.
3.5. En conclusion, les autorités cantonales ont à bon droit jugé que l'action pénale en rapport avec les faits survenus en novembre 2002 était prescrite et par conséquent prononcé, respectivement confirmé le classement de la procédure pénale sur ce point.
4.
Le recours doit être rejeté dans la mesure où il est recevable, au frais des recourants qui succombent (<ref-law>). Ceux-ci assumeront ces frais à parts égales et solidairement (<ref-law>). L'intimé, qui n'a pas été invité à se déterminer, n'a pas droit à des dépens.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge des recourants, à parts égales et solidairement entre eux.
3.
Le présent arrêt est communiqué aux parties et à la Cour de justice de la République et canton de Genève, Chambre pénale de recours.
Lausanne, le 13 avril 2016
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod