Faits : A. B.X._ et A.X._, son épouse, (ci-après : les contribuables) sont domiciliés à Genève. Le 11 décembre 2002, la banque pour laquelle B.X._ travaille lui a attribué 377 options, chacune donnant le droit à l'issue de la période minimum de trois ans et dans un délai maximum de cinq ans d'acquérir une action de la banque. Dans leur déclaration fiscale pour la période 2002, les contribuables ont déclaré 377 options octroyées pour un montant total de 144'598 fr. 35. Le 12 août 2005, l'Administration fiscale cantonale du canton de Genève leur a notifié les bordereaux de taxation pour l'impôt fédéral direct, cantonal et communal 2002 imposant la valeur des options. Le 19 août 2005, les contribuables ont déposé une réclamation contre les bordereaux 2002 et demandé que les options versées par la banque soient imposables à l'exercice et non à l'octroi. Dans leur déclaration fiscale pour la période 2004 du 25 août 2005, les contribuables ont mentionné que B.X._ avait bénéficié d'un rachat de ses options et fait référence à la déclaration fiscale 2002 ainsi qu'à leur réclamation du 19 août 2005. Le 24 janvier 2006, l'Administration fiscale cantonale du canton de Genève leur a notifié les bordereaux de taxation pour l'impôt fédéral direct, cantonal et communal 2004 ajoutant dans la fortune soumise à l'impôt cantonal et communal la valeur des options pour un montant de 144'598 fr. 35. Le 25 janvier 2006, les contribuables ont déposé une réclamation contre les bordereaux 2004 d'impôt fédéral direct, cantonal et communal, au motif notamment que les options avaient été rachetées le 13 décembre 2004 pour un montant de 116'870 fr. Ils ont une nouvelle fois fait référence à la réclamation en cours pour l'année 2002. Le 28 février 2006, l'Administration fiscale cantonale a demandé copie du relevé bancaire du mois de décembre 2004. Ce document lui a été transmis le 16 mars 2006. Par deux décisions distinctes du 22 juin 2006 en matière d'impôt fédéral direct et en matière d'impôt cantonal et communal, l'Administration fiscale cantonale a rejeté la réclamation relative aux taxations 2002. Ces décisions ont fait l'objet d'un recours de la part des contribuables auprès du Tribunal administratif de première instance du canton de Genève. Le 3 août 2006, l'Administration fiscale cantonale a notifié des bordereaux rectificatifs pour l'année 2004 valant décision sur réclamation, supprimant la valeur des options dans la fortune imposable et modifiant pour d'autres motifs le revenu soumis à l'impôt fédéral direct, cantonal et communal 2004. Par arrêt du 16 novembre 2010, le Tribunal administratif de première instance du canton de Genève a jugé que les options ne pouvaient pas être imposées au moment de leur attribution, mais devaient l'être au jour de leur réalisation (exercice). Il a par conséquent annulé l'imposition des options durant la période fiscale 2002. Le 18 février 2011, l'Administration fiscale cantonale a notifié deux bordereaux rectificatifs modifiant l'imposition 2002. L'arrêt du 16 novembre 2010 est entré en force. B. Le 3 juillet 2012, l'Administration fiscale cantonale a ouvert une procédure en rappel d'impôts pour l'année 2004 à l'encontre des intéressés. En raison de l'arrêt du Tribunal administratif du 16 novembre 2010, le montant de 116'870 fr. correspondant à l'exercice des options constituait un revenu imposable en 2004. Puis, par décision du 19 septembre 2012, l'Administration fiscale cantonale a ajouté un montant de 116'870 fr. aux revenus imposables pour l'impôt fédéral direct, cantonal et communal de la période fiscale 2004. Le 11 octobre 2012, les contribuables ont déposé une réclamation contre les bordereaux de rappel d'impôts 2004. Le 28 novembre 2012, les contribuables ont formulé une offre transactionnelle à l'attention de l'Administration fiscale cantonale consistant dans l'arrêt des procédures contre un accord stipulant le calcul d'impôt sur l'indemnité de 116'870 fr. ne comportant aucun intérêt de retard et aucun frais. Le montant de 51'411 fr. serait ainsi versé pour solde de tout compte. Par décision sur réclamation du 19 décembre 2012, l'Administration fiscale cantonale a maintenu les décisions de rappel d'impôts. Par jugement du 14 avril 2014, le Tribunal administratif de première instance du canton de Genève a rejeté le recours interjeté par les contribuables contre les décisions du 19 décembre 2012. L'arrêt du 16 novembre 2010 ne constituait pas un fait nouveau justifiant le rappel d'impôts. En revanche, les contribuables ne pouvaient de bonne foi ignorer que les options seraient imposables en 2004, le principe et les modalités de l'imposition ayant été fixés par l'arrêt du 16 novembre 2010. Les bordereaux de rappel d'impôts étaient dès lors confirmés, bien que les conditions du rappel d'impôt ne soient pas satisfaites. Le 30 mai 2014, les contribuables ont interjeté recours devant la Cour de justice du canton de Genève. A leur avis, il n'y avait pas de place pour un rappel d'impôt et les décisions de rappel devaient annulées. C. Par arrêt du 3 mars 2015, la Cour de justice a rejeté le recours en matière d'impôt fédéral direct, cantonal et communal. Laissant ouverte la question de la légalité d'un rappel d'impôt, elle a jugé que la reprise d'impôt concernée était valide et les intérêts de retard dus en application du principe de la bonne foi. Il n'y avait pas lieu de procéder par la voie de la révision comme le demandaient les contribuables, puisque l'arrêt du Tribunal administratif du 16 novembre 2010 ne constituait pas un motif de révision et que l'art. 147 LIFD ne s'appliquait qu'en faveur du contribuable. D. Agissant par la voie du recours en matière de droit public, les contribuables demandent au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt rendu le 3 mars 2015 par la Cour de justice du canton de Genève et de dire que tout rappel d'impôt fédéral direct, cantonal et communal pour la période fiscale 2004 est exclu. La Cour de justice persiste dans les considérants et le dispositif de son arrêt. L'Administration fiscale cantonale conclut au rejet du recours.