Faits : A. A.X._, ressortissant ivoirien né en 1983, est entré en Suisse au mois de janvier 2002. Il a été mis au bénéfice d'une autorisation de séjour au titre de regroupement familial, régulièrement prolongée jusqu'en 2012, puis a obtenu, au mois de janvier 2012, une autorisation d'établissement. De l'union de A.X._ et Y._, ressortissante ivoirienne née en 1989, est né, en 2001, B.X._. L'enfant a vécu dans son pays d'origine avec sa mère jusqu'au remariage de cette dernière, en 2009. Il a par la suite été placé successivement auprès d'une connaissance de son père et de divers membres de la famille de ce dernier établis en Côte d'Ivoire. B. Par lettre du 2 août 2013, A.X._ a requis le regroupement familial en faveur de son fils auprès de la Représentation suisse à Abidjan. Le 29 novembre 2013, B.X._ a déposé auprès de cette autorité une demande de visa de long séjour en vue de son regroupement familial avec A.X._. L'Office cantonal de la population du canton de Genève (actuellement: l'Office cantonal de la population et des migrations du canton de Genève; ci-après: l'Office cantonal) a rejeté cette demande par décision du 30 juin 2014. Le 2 mars 2015, à la suite de la demande de reconsidération déposée par A.X._ le 29 septembre 2014, l'Office cantonal a informé ce dernier qu'il était disposé, au vu des conditions de vie extrêmement précaires de l'enfant nouvellement exposées, à délivrer à celui-ci un titre de séjour en vue du regroupement familial, sous réserve de l'approbation du Secrétariat d'Etat aux migrations (ci-après: le SEM). Par décision du 13 juillet 2015, le SEM a refusé d'octroyer à B.X._ une autorisation d'entrée en Suisse et d'approuver la délivrance, en sa faveur, d'une autorisation de séjour au titre de regroupement familial. Le recours interjeté contre cette décision par A.X._ le 11 septembre 2015 a été rejeté le 17 janvier 2017 par le Tribunal administratif fédéral. C. Contre l'arrêt du 17 janvier 2017, A.X._ forme un recours en matière de droit public auprès du Tribunal fédéral. Il conclut en substance, sous suite de frais et dépens, à l'annulation de l'arrêt attaqué, à l'admission de la requête de regroupement familial et à la délivrance d'une autorisation de séjour en faveur de B.X._. Subsidiairement, il demande le renvoi de la cause au SEM pour nouvelle décision au sens des considérants. Le Tribunal administratif fédéral a renoncé à prendre position. Le SEM n'a pas formulé d'observations.