Faits :
A.
B.X._ et A.X._, son épouse, (ci-après : les contribuables) sont domiciliés à Genève. Le 11 décembre 2002, la banque pour laquelle B.X._ travaille lui a attribué 377 options, chacune donnant le droit à l'issue de la période minimum de trois ans et dans un délai maximum de cinq ans d'acquérir une action de la banque.
Dans leur déclaration fiscale pour la période 2002, les contribuables ont déclaré 377 options octroyées pour un montant total de 144'598 fr. 35. Le 12 août 2005, l'Administration fiscale cantonale du canton de Genève leur a notifié les bordereaux de taxation pour l'impôt fédéral direct, cantonal et communal 2002 imposant la valeur des options. Le 19 août 2005, les contribuables ont déposé une réclamation contre les bordereaux 2002 et demandé que les options versées par la banque soient imposables à l'exercice et non à l'octroi.
Dans leur déclaration fiscale pour la période 2004 du 25 août 2005, les contribuables ont mentionné que B.X._ avait bénéficié d'un rachat de ses options et fait référence à la déclaration fiscale 2002 ainsi qu'à leur réclamation du 19 août 2005. Le 24 janvier 2006, l'Administration fiscale cantonale du canton de Genève leur a notifié les bordereaux de taxation pour l'impôt fédéral direct, cantonal et communal 2004 ajoutant dans la fortune soumise à l'impôt cantonal et communal la valeur des options pour un montant de 144'598 fr. 35.
Le 25 janvier 2006, les contribuables ont déposé une réclamation contre les bordereaux 2004 d'impôt fédéral direct, cantonal et communal, au motif notamment que les options avaient été rachetées le 13 décembre 2004 pour un montant de 116'870 fr. Ils ont une nouvelle fois fait référence à la réclamation en cours pour l'année 2002.
Le 28 février 2006, l'Administration fiscale cantonale a demandé copie du relevé bancaire du mois de décembre 2004. Ce document lui a été transmis le 16 mars 2006.
Par deux décisions distinctes du 22 juin 2006 en matière d'impôt fédéral direct et en matière d'impôt cantonal et communal, l'Administration fiscale cantonale a rejeté la réclamation relative aux taxations 2002. Ces décisions ont fait l'objet d'un recours de la part des contribuables
auprès du Tribunal administratif de première instance du canton de Genève.
Le 3 août 2006, l'Administration fiscale cantonale a notifié des bordereaux rectificatifs pour l'année 2004 valant décision sur réclamation, supprimant la valeur des options dans la fortune imposable et modifiant pour d'autres motifs le revenu soumis à l'impôt fédéral direct, cantonal et communal 2004.
Par arrêt du 16 novembre 2010, le Tribunal administratif de première instance du canton de Genève a jugé que les options ne pouvaient pas être imposées au moment de leur attribution, mais devaient l'être au jour de leur réalisation (exercice). Il a par conséquent annulé l'imposition des options durant la période fiscale 2002. Le 18 février 2011, l'Administration fiscale cantonale a notifié deux bordereaux rectificatifs modifiant l'imposition 2002. L'arrêt du 16 novembre 2010 est entré en force.
B.
Le 3 juillet 2012, l'Administration fiscale cantonale a ouvert une procédure en rappel d'impôts pour l'année 2004 à l'encontre des intéressés. En raison de l'arrêt du Tribunal administratif du 16 novembre 2010, le montant de 116'870 fr. correspondant à l'exercice des options constituait un revenu imposable en 2004. Puis, par décision du 19 septembre 2012, l'Administration fiscale cantonale a ajouté un montant de 116'870 fr. aux revenus imposables pour l'impôt fédéral direct, cantonal et communal de la période fiscale 2004.
Le 11 octobre 2012, les contribuables ont déposé une réclamation contre les bordereaux de rappel d'impôts 2004. Le 28 novembre 2012, les contribuables ont formulé une offre transactionnelle à l'attention de l'Administration fiscale cantonale consistant dans l'arrêt des procédures contre un accord stipulant le calcul d'impôt sur l'indemnité de 116'870 fr. ne comportant aucun intérêt de retard et aucun frais. Le montant de 51'411 fr. serait ainsi versé pour solde de tout compte. Par décision sur réclamation du 19 décembre 2012, l'Administration fiscale cantonale a maintenu les décisions de rappel d'impôts.
Par jugement du 14 avril 2014, le Tribunal administratif de première instance du canton de Genève a rejeté le recours interjeté par les contribuables contre les décisions du 19 décembre 2012. L'arrêt du 16 novembre 2010 ne constituait pas un fait nouveau justifiant le rappel d'impôts. En revanche, les contribuables ne pouvaient de bonne foi ignorer que les options seraient imposables en 2004, le principe et les modalités de l'imposition ayant été fixés par l'arrêt du 16 novembre 2010. Les bordereaux de rappel d'impôts étaient dès lors confirmés, bien que les conditions du rappel d'impôt ne soient pas satisfaites.
Le 30 mai 2014, les contribuables ont interjeté recours devant la Cour de justice du canton de Genève. A leur avis, il n'y avait pas de place pour un rappel d'impôt et les décisions de rappel devaient annulées.
C.
Par arrêt du 3 mars 2015, la Cour de justice a rejeté le recours en matière d'impôt fédéral direct, cantonal et communal. Laissant ouverte la question de la légalité d'un rappel d'impôt, elle a jugé que la reprise d'impôt concernée était valide et les intérêts de retard dus en application du principe de la bonne foi. Il n'y avait pas lieu de procéder par la voie de la révision comme le demandaient les contribuables, puisque l'arrêt du Tribunal administratif du 16 novembre 2010 ne constituait pas un motif de révision et que l'<ref-law> ne s'appliquait qu'en faveur du contribuable.
D.
Agissant par la voie du recours en matière de droit public, les contribuables demandent au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt rendu le 3 mars 2015 par la Cour de justice du canton de Genève et de dire que tout rappel d'impôt fédéral direct, cantonal et communal pour la période fiscale 2004 est exclu.
La Cour de justice persiste dans les considérants et le dispositif de son arrêt. L'Administration fiscale cantonale conclut au rejet du recours.

Considérant en droit :
1.
1.1. L'arrêt attaqué constitue une décision finale (<ref-law>) rendue dans une cause de droit public par une autorité judiciaire supérieure de dernière instance cantonale (art. 82 let. a et 86 al. 1 let. d et al. 2 LTF) qui concerne à la fois l'impôt fédéral direct et l'impôt cantonal harmonisé, ce qui est admissible du moment que les règles sur le rappel d'impôt sont identiques pour les deux catégories d'impôts (arrêt 2C_1225/2012 du 7 juin 2013 consid. 1.1). Comme l'état de fait est identique et que les questions juridiques se recoupent, les deux causes seront jointes et il sera statué dans un seul arrêt (cf. <ref-law> et 24 PCF [RS 273]).
1.2. Déposé en temps utile (<ref-law>) par les destinataires de l'arrêt attaqué, qui ont un intérêt digne de protection à l'annulation ou à la modification de celui-ci, le recours en matière de droit public est en principe recevable en vertu des <ref-law>, 146 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD; RS 642.11) et 73 al. 1 de la loi du 14 décembre 1990 sur l'harmonisation des impôts cantonaux et communaux (LHID; loi sur l'harmonisation fiscale; RS 642.14).
2.
Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral (cf. art. 95 let. a et 106 al. 1 LTF), sous réserve des exigences de motivation figurant à l'<ref-law>. Il y procède en se fondant sur les faits constatés par l'autorité précédente (cf. <ref-law>), à moins que ceux-ci n'aient été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire de l'art. 9 Cst. (<ref-ruling> consid. 4.3 p. 62) - ou en violation du droit au sens de l'<ref-law> et si la correction du vice est susceptible d'influer sur le sort de la cause (cf. <ref-law>).
I. Impôt fédéral direct
3.
3.1. Aux termes de l'<ref-law>, lorsque des moyens de preuve ou des faits jusque là inconnus de l'autorité fiscale lui permettent d'établir qu'une taxation n'a pas été effectuée, alors qu'elle aurait dû l'être, ou qu'une taxation entrée en force est incomplète ou qu'une taxation non effectuée ou incomplète est due à un crime ou à un délit commis contre l'autorité fiscale, cette dernière procède au rappel de l'impôt qui n'a pas été perçu, y compris les intérêts. Selon l'<ref-law>, lorsque le contribuable a déposé une déclaration complète et précise concernant son revenu, sa fortune et son bénéfice net, qu'il a déterminé son capital propre de façon adéquate et que l'autorité fiscale en a admis l'évaluation, tout rappel d'impôt est exclu, même si l'évaluation était insuffisante. Il y a ainsi motif à rappel d'impôt lorsque l'autorité découvre des faits ou des moyens de preuve qui ne ressortaient pas du dossier dont disposait l'autorité fiscale au moment de la taxation. Le contribuable doit faire tout ce qui est nécessaire pour assurer une taxation complète et exacte (<ref-law>). Il doit ainsi remplir la formule de déclaration d'impôt de manière conforme à la vérité et complète (<ref-law>). Lorsque le contribuable se heurte à une incertitude quant à un élément de fait, il ne doit pas la dissimuler, mais bien la signaler dans sa déclaration. Dans tous les cas, il doit décrire les faits de manière complète et objective (arrêt 2C_1225/2012 du 7 juin 2013 consid. 4 in Archives 82 71 et les nombreuses références citées).
3.2. En l'espèce, dans leur déclaration fiscale pour la période 2002, les contribuables ont dûment déclaré 377 options octroyées par l'employeur pour un montant total de 144'598 fr. 35. Le 12 août 2005, l'Administration fiscale cantonale du canton de Genève leur a notifié les bordereaux de taxation pour l'impôt fédéral direct, cantonal et communal 2002 imposant la valeur des options. Le 19 août 2005, les contribuables ont déposé une réclamation contre les bordereaux 2002 et demandé que les options versées par la banque soient imposables à l'exercice et non à l'octroi. A cela s'ajoute que, dans leur réclamation du 25 janvier 2006 contre les bordereaux 2004 d'impôt fédéral direct, cantonal et communal, les recourants ont une nouvelle fois fait référence à la réclamation en cours pour l'année 2002.
Dans ces circonstances, l'autorité intimée avait à sa disposition des dossiers fiscaux complets s'agissant des 377 options en cause; elle en connaissait ainsi l'existence de sorte que les conditions pour un rappel d'impôt fédéral direct sur le revenu de la vente des options pour la période fiscale 2004 ne sont pas remplies.
3.3. L'<ref-law> ne prévoit expressément le mécanisme de révision d'une décision entrée en force qu'en faveur du contribuable, tandis que le rappel d'impôt de l'art. 150 LIF en constitue le pendant en faveur du fisc. Il n'y a par conséquent, comme l'a déjà précisé la jurisprudence, pas de place pour une révision en défaveur du contribuable en dehors des conditions légales du rappel d'impôt (arrêt 2C_200/2014 du 4 juin 2015 consid. 2.4.5.2 in Archives 84 250), qui ne sont, on l'a vu, pas réunies en l'espèce.
3.4. L'imposition fondée sur le principe de la bonne foi doit être écartée. Un tel raisonnement revient en effet à déroger à la règle du numerus clausus des motifs légaux qui permettent de revenir sur une décision entrée en force (arrêt 2C_200/2014 du 4 juin 2015 consid. 2.4.1). Au demeurant, en pratique, rien n'empêchait l'autorité intimée de suspendre la procédure de réclamation de la période fiscale 2004 jusqu'à droit connu sur le régime d'imposition des options pour la période fiscale 2002.
En confirmant l'imposition d'un revenu provenant de la vente des options pour la période fiscale 2004, l'instance précédente a violé le droit fédéral. Le recours en matière de droit public en tant qu'il concerne l'impôt fédéral direct pour la période fiscale 2004 est admis.
II. Droit cantonal et communal
4.
Selon les art. 53 al. 1, 1ère phrase, LHID et 59 al. 1 de la loi genevoise de procédure fiscale du 14 décembre 1990 (LPFisc; RSGE D 3 17), lorsque des moyens de preuve ou des faits jusque-là inconnus de l'autorité fiscale permettent d'établir qu'une taxation n'a pas été effectuée alors qu'elle aurait dû l'être, qu'une taxation entrée en force est incomplète ou qu'une taxation non effectuée ou incomplète est due à un crime ou à un délit commis contre l'autorité fiscale, cette dernière procède au rappel de l'impôt qui n'a pas été perçu, y compris les intérêts. Les art. 53 al. 1 1ère phrase LHID et 59 al. 1 LPFisc ont ainsi la même teneur que l'<ref-law>. Partant, les considérations développées pour l'impôt fédéral direct trouvent à s'appliquer aux impôts cantonal et communal relatifs au revenu provenant de la vente des options pour la période fiscale 2004.
Dans ces conditions, il y a lieu d'admettre également le recours en matière de droit public en tant qu'il concerne l'impôt cantonal et communal pour la période fiscale 2004.
5.
Les considérants qui précèdent conduisent à l'annulation de l'arrêt rendu le 3 mars 2015 par la Cour de justice du canton de Genève et celle du rappel d'impôt fédéral, cantonal et communal pour la période fiscale 2004. Succombant, le canton de Genève, dont l'intérêt patrimonial est en cause, doit supporter les frais judiciaires (art. 66 al. 1 et 4 LTF). Les recourants, représentés par un mandataire professionnel, ont obtenu gain de cause; ils ont droit par conséquent à une indemnité à titre de dépens à charge du canton de Genève (art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Les causes 2C_322/2015 et 2C_323/2015 sont jointes.
2.
Le recours en matière d'impôt fédéral direct est admis. Partant l'arrêt rendu le 3 mars 2015 par la Cour de justice du canton de Genève et le rappel d'impôt fédéral direct pour la période fiscale 2004 sont annulés.
3.
Le recours en matière d'impôt cantonal et communal est admis. Partant l'arrêt rendu le 3 mars 2015 par la Cour de justice du canton de Genève et le rappel d'impôt cantonal et communal pour la période fiscale 2004 sont annulés.
4.
La cause est renvoyée à la Cour de justice du canton de Genève pour qu'elle rende une nouvelle décision sur les frais et dépens de la procédure devant elle et devant le Tribunal administratif de première instance.
5.
Les frais judiciaires, arrêtés à 3'000 fr, sont mis à la charge du canton de Genève.
6.
Une indemnité de dépens, arrêtée à 4'500 fr., est allouée aux recourants, à charge du canton de Genève.
7.
Le présent arrêt est communiqué au mandataire des recourants, à l'Administration fiscale cantonale du canton de Genève, à la Cour de justice de la République et canton de Genève, Chambre administrative, 1ère section, ainsi qu'à l'Administration fédérale des contributions.
Lausanne, le 4 avril 2016
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Dubey