Faits : A. A._, ressortissant macédonien, né le 18 novembre 1977, a épousé coutumièrement une compatriote en 2001 ou 2002 en Macédoine du Nord. Un enfant est né de cette union le 25 mars 2004. Le 24 mars 2005, l'intéressé s'est marié civilement, dans son pays, avec B._, citoyenne suisse née en 1955. Le 9 juin 2005, A._ a obtenu une autorisation de séjour au titre du regroupement familial qui a été régulièrement renouvelée jusqu'au 3 juin 2010. Les époux coutumiers ont eu deux autres enfants nés en Macédoine du Nord le 19 novembre 2005 respectivement le 16 septembre 2009. La naissance de ce dernier enfant n'a pas été annoncée au Service de la population et des migrants du canton de Fribourg (ci-après: le Service de la population). Le 12 juillet 2010, le Secrétariat d'État aux migrations a approuvé la proposition du Service de la population de prolonger l'autorisation de séjour de A._ jusqu'au 3 juin 2011, malgré le fait que les conjoints vivaient séparés. En 2012, B._ a indiqué audit service que son époux avait trois enfants avec son épouse coutumière. Le 11 novembre 2014, les intéressés ont annoncé avoir repris la vie commune et le Service de la population a renouvelé le permis de A._ jusqu'au 3 juin 2015. Puis, celui-ci a informé ledit service que la vie conjugale n'était plus possible en raison des problèmes de santé de sa conjointe. A la suite d'une requête commune de la part des époux, le divorce a été prononcé le 27 février 2017. Le Secrétariat d'État aux migrations, en date du 5 février 2018, a refusé d'approuver la prolongation de l'autorisation de séjour de A._ et lui a imparti un délai pour quitter le territoire suisse. B. Par arrêt du 6 mars 2020, le Tribunal administratif fédéral a rejeté le recours de l'intéressé à l'encontre de la décision du 5 février 2018 susmentionnée. Il a en substance jugé qu'il existait un faisceau d'indices suffisants et sérieux qui permettait de conclure à l'absence d'une union conjugale réellement voulue et effective, à tout le moins de la part de A._, et ce dès le début de cette union. C. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral, sous suite de frais et dépens, de prolonger son autorisation de séjour; subsidiairement, de renvoyer la cause au Tribunal administratif fédéral pour une nouvelle décision dans le sens des considérants. Le Tribunal administratif fédéral a renoncé à se prononcer sur le recours. Le Secrétariat d'État aux migrations n'a pas déposé d'observations. Par ordonnance du 14 mai 2020, le Président de la IIe Cour de droit public a admis la requête d'effet suspensif.