Faits :
A.
A.a. En 1999, puis en 2001, X._, ressortissant kosovar né le 24 avril 1982, a déposé des demandes de visa pour la Suisse qui ont été refusées.
Le 19 février 2003, X._ a été interpellé par la police genevoise. Lors de l'audition dont il a fait l'objet à cette date, l'intéressé a déclaré qu'il était arrivé en Suisse à une date qu'il ne pouvait indiquer et qu'il avait travaillé comme que garçon de cuisine. Par décision du 21 mai 2003, l'autorité compétente a prononcé à l'endroit de l'intéressé une interdiction d'entrée en Suisse valable jusqu'au 20 mai 2005.
X._ a déposé, le 20 février 2003, une demande d'asile qui a été rejetée en date du 11 mars 2003; un délai de départ pour quitter la Suisse lui a été fixé au 6 mai 2003. En date du 20 avril 2003, la disparition de l'intéressé a été constatée.
A.b. Le 1er septembre 2003, X._ a épousé, à Genève, Y._, ressortissante suisse née en 1951. Le 8 septembre 2003, il a officiellement quitté la Suisse pour s'établir en France voisine.
Par décision du 9 août 2004, l'Office cantonal de la population et des migrations du canton de Genève (ci-après : l'Office cantonal de la population) a refusé de fournir le visa requis par l'intéressé et de transmettre son dossier avec un préavis favorable à l'autorité compétente en vue de la levée de son interdiction d'entrée en Suisse et de l'octroi d'une autorisation de séjour. Il a retenu, après avoir entendu les époux, l'existence d'un mariage de complaisance, l'intéressé n'ayant pas été en mesure de rendre vraisemblable le fait qu'il entretenait une relation suivie avec son épouse. Il lui a également opposé le fait qu'il était revenu en Suisse, alors qu'il faisait l'objet d'une interdiction d'entrée en Suisse, et qu'il avait tenté de tromper le Consulat général de Suisse à Lyon, lors du dépôt de la demande de visa, en lui présentant un passeport falsifié.
X._ est entré illégalement en Suisse, le 14 février 2007, et a emménagé chez son épouse.
Le 29 juin 2007, l'Office cantonal de la population a délivré à X._ une autorisation de travail, complétée, le 23 novembre 2007, par une autorisation de séjour qui a régulièrement été renouvelée jusqu'au 13 février 2012.
Y._ est décédée le 25 novembre 2011.
Le 22 mai 2013, l'Office fédéral des migrations (à partir du 1er janvier 2015 et ci-après: le Secrétariat d'Etat aux migrations) a refusé l'approbation à la prolongation de l'autorisation de séjour de X._ et a prononcé le renvoi de Suisse de celui-ci. Au préalable, cet office avait pris contact avec l'intéressé, l'informant avoir fait procéder par l'intermédiaire de l'Ambassade de Suisse au Kosovo à des mesures d'instruction complémentaires et qu'il apparaissait que X._ s'était marié traditionnellement cinq mois auparavant avec une compatriote, âgée de 22 ans; l'intéressé a formellement contesté ce fait et produit une attestation signée par cette dernière niant ce mariage.
B.
Par arrêt du 4 septembre 2014, le Tribunal administratif fédéral a rejeté le recours de X._. Il a en substance retenu que si le mariage avec Y._ avait bien duré plus de trois ans, il apparaissait toutefois que ce mariage ne constituait qu'une union de façade. Aussi, l'intéressé ne pouvait s'en prévaloir pour exiger la poursuite de son séjour en Suisse; il relevait aussi l'absence d'obstacles à l'exécution du renvoi.
C.
Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du 4 septembre 2014 du Tribunal administratif fédéral, de dire et constater que cet arrêt n'est pas conforme au droit, de dire et constater qu'il remplit toutes les conditions au renouvellement de son autorisation de séjour, d'accepter l'approbation à ce renouvellement par le canton de Genève, d'annuler la décision du 22 mai 2013 du Secrétariat aux migrations; subsidiairement, d'annuler l'arrêt du 4 septembre 2014 du Tribunal administratif fédéral et d'ordonner le renvoi de la présente cause pour décision dans le sens des considérants.
Le Secrétariat aux migrations conclut au rejet du recours. Le Tribunal administratif fédéral a renoncé à déposer des observations.
Par ordonnance du 20 octobre 2014, le Président de la IIe Cour de droit public a admis la demande d'effet suspensif au recours.

Considérant en droit :
1.
1.1. En vertu de l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est notamment irrecevable contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit.
Le recourant invoque l'art. 50 al. 1 de la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr ou la loi fédérale sur les étrangers; RS 142.20) selon lequel, après dissolution de la famille, le droit du conjoint à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité subsiste dans certains cas. Dès lors qu'il n'est pas d'emblée exclu que les conditions de cette disposition soient remplies et qu'en outre l'existence d'un éventuel abus de droit concerne le fond de la cause (cf. <ref-ruling> consid. 1 p. 332), il convient d'admettre que le recours échappe à la clause d'irrecevabilité.
1.2. Le recours est dirigé contre une décision finale (art. 90 LTF), rendue par le Tribunal administratif fédéral (art. 86 al. 1 let. a LTF) confirmant le refus de renouveler l'autorisation de séjour. Pour le surplus, le recours a été déposé en temps utile (art. 100 LTF) et dans les formes prescrites (art. 42 LTF) par le destinataire de l'arrêt entrepris qui a un intérêt digne de protection à son annulation ou à sa modification (art. 89 al. 1 LTF). Par conséquent, le recours en matière de droit public est recevable.
1.3. Cependant, la conclusion tendant à l'annulation de la décision du du 22 mai 2013 du Secrétariat d'Etat aux migrations est irrecevable, car, eu égard à l'effet dévolutif du recours devant le Tribunal administratif fédéral, l'arrêt de cette autorité se substitue aux prononcés antérieurs (<ref-ruling> consid. 1.2 p. 104).
Il en va de même de la conclusion tendant à constater que l'arrêt attaqué n'est pas conforme au droit fédéral et que le recourant remplit toutes les conditions au renouvellement de son autorisation de séjour. Selon un principe général de procédure, les conclusions constatatoires ont un caractère subsidiaire et ne sont recevables que lorsque des conclusions condamnatoires ou formatrices sont exclues (cf. <ref-ruling> consid. 4 p. 122). Or, la conclusion tendant à l'annulation de l'arrêt du 4 septembre 2014 Tribunal administratif fédéral et celle tendant au renouvellement d'une autorisation de séjour englobent les conclusions constatatoires susmentionnées, de sorte que celles-ci sont irrecevables.
2.
Le recourant se plaint d'arbitraire dans l'établissement des faits.
2.1. Aux termes de l'art. 97 al. 1 LTF, le recourant ne peut critiquer les constatations de faits que si ceux-ci ont été établis de manière manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause. Le grief tiré de la constatation manifestement inexacte d'un fait au sens de l'art. 97 al. 1 LTF revient à démontrer que celui-ci a été établi de manière arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 2 p. 117; <ref-ruling> consid. 7.1 p. 51; sur la notion d'arbitraire, cf. <ref-ruling> consid. 2.1 p. 18 s.; <ref-ruling> consid. 3.2.5 p. 339).
L'appréciation des preuves est arbitraire lorsque l'autorité ne prend pas en compte, sans raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables, ce qu'il appartient au recourant de démontrer (<ref-ruling> consid. 4.1.2 p. 62; <ref-ruling> consid. 4.2 p. 234; <ref-ruling> consid. 4.1.2 p. 62). Le grief d'arbitraire dans l'appréciation des preuves et la constatation des faits est soumis à des règles de motivation accrues (art. 106 al. 2 LTF). En particulier, le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (cf. <ref-ruling> consid. 2.3 p. 266; <ref-ruling> consid. 4.1.2 p. 62; <ref-ruling> consid. 5.1 p. 356).
2.2. Le moyen concerne les témoignages écrits des voisins et de la nièce de feu Y._ selon lesquels ceux-ci avaient entretenu avec le recourant et feu son épouse des relations très conviviales et que les époux entretenaient une relation de couple et qu'ils passaient beaucoup de temps ensemble. Le recourant estime que c'est à tort que l'autorité précédente n'a pas fait mention de ces témoignages dans les faits de son arrêt mais uniquement dans la partie en droit.
Il importe peu que les propos des témoins soient relatés dans les faits ou bien dans la partie en droit de l'arrêt attaqué, comme c'est le cas en l'espèce. Le Tribunal administratif fédéral les a donc pris en considération. Il a en revanche considéré que, compte tenu des circonstances du cas, ces déclarations ne le convainquaient pas quant à la réalité de l'union conjugale des époux. C'est donc l'appréciation de ces faits qui est en cause. Il incombait, dès lors, au recourant de démontrer que l'appréciation par les juges précédents des témoignages fournis était arbitraire ce qu'il ne fait pas (cf. consid. 2.1). Dès lors, le grief est irrecevable.
2.3. Le recourant reproche à l'autorité précédente de n'avoir pas mentionné dans son arrêt qu'il n'a jamais eu besoin de l'aide de l'Etat, qu'il n'a fait l'objet d'aucune poursuite et qu'il était très bien intégré en Suisse.
Ce grief tombe à faux. En effet, le recours a été rejeté pour abus de droit dans le cadre de l'art. 50 al. 1 let. a LEtr. Dès lors, les faits susmentionnés, soit le recours à l'aide sociale et l'absence de poursuite, n'étaient pas pertinents pour trancher la question juridique en cause. Quant à l'intégration, il ne s'agit pas d'un fait mais d'une question qui relève du droit (qui constitue une des deux conditions cumulatives de l'art. 50 al. 1 let. a LEtr; cf. consid. 3) que les juges précédents n'ont pas eu à examiner puisqu'ils ont conclu à l'abus de droit.
3.
L'art. 50 al. 1 let. a LEtr prévoit qu'après dissolution de la famille, le droit du conjoint à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité en vertu des art. 42 et 43 LEtr subsiste dans le cas où l'union conjugale a duré au moins trois ans et l'intégration est réussie. Ces deux conditions sont cumulatives (<ref-ruling> consid. 3.5.3 et 3.8 p. 295 et 298; <ref-ruling> consid. 3.3.3 p. 119).
Si l'union conjugale entre l'étranger et son conjoint suisse ou titulaire d'une autorisation d'établissement a effectivement duré trois ans, il faut se demander si les conjoints ont seulement cohabité pour la forme et si la durée de la communauté conjugale, compte tenu de l'interdiction de l'abus de droit (art. 51 al. 2 let. a LEtr), ne doit pas être prise en compte ou ne l'être que partiellement (ATF <ref-ruling> consid. 3.2 in fine p. 117). Il y a mariage fictif lorsque celui-ci est contracté dans le seul but d'éluder les dispositions de la loi fédérale sur les étrangers, en ce sens que les époux (voire seulement l'un d'eux) n'ont jamais eu la volonté de former une véritable communauté conjugale (en matière d'ALCP: <ref-ruling> consid. 2.1 p. 395; sous l'ancien droit, cf. <ref-ruling> consid. 4a p. 55). Est considérée comme abusive l'invocation d'un mariage qui n'a plus de substance et n'existe plus que formellement parce que l'union conjugale paraît définitivement rompue, faute de chances de réconciliation entre les époux (<ref-ruling> consid. 4.2 p. 117; <ref-ruling> consid. 2 et 3 p. 151 s.). Dans l'une et l'autre de ces hypothèses, l'intention réelle des époux ne peut souvent pas être établie par une preuve directe, mais seulement grâce à des indices (<ref-ruling> consid. 5a p. 57).
Les constatations portant sur ces indices peuvent concerner des circonstances externes tout comme des éléments relevant de la volonté interne de chacun des époux. Il s'agit, dans les deux cas, de constatations de fait (ATF <ref-ruling> consid. 2.3 p. 152 et les arrêts cités) qui lient le Tribunal fédéral, sauf si elles ont été établies de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (cf. supra consid. 3.1). En revanche, le Tribunal fédéral examine librement si les constatations de fait (indices) permettent de conclure à l'existence d'un mariage fictif (arrêt 2C_37/2014 du 15 août 2014 consid. 3.2) ou abusif.
3.1. En l'occurrence, le Tribunal administratif fédéral a considéré que la condition des trois ans de mariage était remplie puisque celui-ci avait duré quatre ans et deux jours. Il a cependant jugé qu'un faisceau d'indices laissait apparaître que le recourant ne souhaitait manifestement pas fonder une communauté conjugale avec son épouse, mais éluder les dispositions sur l'admission et le séjour des étrangers en contractant mariage. Il a retenu en particulier la grande différence d'âge entre le recourant et feu Y._; au moment de leur mariage, ils étaient âgés de 21 ans respectivement 52 ans. Par ailleurs, le recourant s'était marié alors qu'il faisait l'objet d'une interdiction d'entrée en Suisse à la suite du prononcé de son renvoi. Pour communiquer entre eux, les époux faisaient appel à l'un des frères de l'intéressé. Les juges précédents ont encore relevé que si feu Y._ et le recourant avaient déclaré qu'ils souhaitaient vivre ensemble une vie de couple heureuse et normale, ceux-ci n'avaient fait état d'aucun projet de vie commun ou d'intérêts partagés; cette absence de vécu commun caractérisait d'ailleurs l'ensemble du dossier. Finalement, le recourant n'avait pas davantage cherché à fournir des précisions quant à la maladie ayant emporté son épouse.
3.2. Le recourant se prévaut du fait que l'autorité compétente connaissait tous ces indices en 2007 déjà et qu'elle lui a alors tout de même délivré une autorisation de séjour. Il est exact que l'Office cantonal de la population connaissait alors les circonstances entourant le mariage de l'intéressé. Il avait d'ailleurs refusé en 2004 de lui fournir un visa, ainsi que d'émettre un préavis favorable en vue de la levée de son interdiction d'entrée en Suisse et de l'octroi d'une autorisation de séjour car il avait retenu l'existence d'un mariage de complaisance. De même, le 29 mai 2006, ledit office avait fait part à l'intéressé de son intention de refuser sa demande, dès lors que celui-ci n'avait pas été en mesure d'apporter la preuve qu'il entretenait une relation suivie avec son épouse. Ce n'est qu'après que le recourant fut entré illégalement en Suisse et eut emménagé chez son épouse qu'une autorisation de séjour lui a été accordée, soit après que l'Office cantonal de la population eut longtemps émis des doutes quant à la réalité de l'union conjugale en cause. De plus, comme le relève l'arrêt attaqué, ce n'est pas l'Office cantonal de la population qui a refusé de renouveler l'autorisation de séjour en 2013 mais le Secrétariat d'Etat aux migrations qui se prononçait alors pour la première fois sur le cas.
Le recourant estime que c'est à tort que les juges précédents ont retenu que les époux n'avaient jamais fait mention de projets de vie ou d'intérêts communs. Il ne fait cependant que se plaindre de ce fait et ne prétend même pas qu'ils auraient eu de tels projets. Son mémoire ne contient ainsi que des généralités, soit le fait que feu son épouse, dans un courrier du 3 juin 2006 à l'Office cantonal de la population, avait déclaré avoir la ferme volonté de mener avec le recourant une vie de couple heureuse et normale et qu'elle s'était battue de nombreuses années pour faire en sorte que son époux puisse venir la rejoindre en Suisse. Le Tribunal administratif fédéral a pris en compte ces faits mais il ne leur a simplement pas accordé l'importance que lui attache le recourant. Il en va de même des déclarations des témoins selon lesquelles ceux-ci avaient entretenu avec le recourant et feu son épouse des relations très conviviales et que les intéressés entretenaient une relation de couple et qu'ils passaient beaucoup de temps ensemble. Le Tribunal fédéral ne saurait accorder à ces éléments un poids plus important. Il faut à cet égard relever que le recourant n'a jamais répondu à l'ordonnance du 6 mars 2014 du Tribunal administratif fédéral qui l'avait invité à fournir des informations quant à la communauté conjugale qu'il disait avoir formée avec feu son épouse, en particulier tout document ou photographie susceptible d'attester la réalité d'une vie commune.
Ainsi, les éléments allant dans le sens d'un mariage de complaisance sont nombreux et pertinents. On peut encore ajouter à ceux susmentionnés que le recourant a démontré sa volonté de venir vivre dans notre pays par tous les moyens: demandes de visa, demande d'asile, entrées illégales, disparition avant le renvoi, passeport falsifié; en outre, celui-ci n'évoque pas la façon dont le couple aurait maintenu la relation pendant les cinq ans qui ont séparés la date du mariage (2003) de celle de la vie commune (2007).
3.3. Dans ces circonstances, c'est à bon droit que les juges précédents ont estimé que le mariage était dépourvu de substance. Dès lors, l'invocation de ce mariage pour obtenir la protection de l'art. 50 al. 1 let. a LEtr constitue un abus de droit.
4.
Le recourant invoque encore l'art. 50 al. 1 let. b LEtr, selon lequel après dissolution de la famille, le droit du conjoint et des enfants à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité en vertu des art. 42 et 43 LEtr subsiste si la poursuite du séjour en Suisse s'impose pour des raisons personnelles majeures.
Il est présumé que le décès du conjoint suisse constitue une raison personnelle grave qui impose la poursuite du séjour en Suisse du conjoint étranger survivant, pour autant qu'aucune circonstance particulière ne permette de douter du bien-fondé du mariage ni de l'intensité des liens entre les conjoints (<ref-ruling> consid. 3.1 et 3.2 p. 394 et 396; cf. aussi <ref-ruling> consid. 3.2.2 p. 349;).
Dès lors qu'en l'espèce, comme cela a été constaté ci-dessus, le mariage du recourant était vide de toute substance, le décès de feu Y._ ne saurait constituer une raison personnelle majeure au sens de l'art. 50 al. 1 let. b LEtr.
5.
L'arrêt attaqué ne révèle, au surplus, aucun élément déterminant qui ferait apparaître le refus de prolonger l'autorisation de séjour des recourants comme disproportionné (cf. art. 96 LEtr).
6.
Il résulte de ce qui précède que le recours est rejeté dans la mesure où il est recevable.
Succombant, le recourant doit supporter les frais judiciaires (art. 65 et 66 al. 1 LTF). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, fixés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au mandataire du recourant, au Secrétariat aux migrations et au Tribunal administratif fédéral, Cour III.
Lausanne, le 14 avril 2015
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Zünd
La Greffière : Jolidon