Faits : A. A._, ressortissant kosovar, né en 1969, est arrivé en Suisse le 5 septembre 1994 et y a déposé une demande d'asile le 16 décembre 1994. L'Office fédéral des réfugiés (à partir du 1 er janvier 2015: le Secrétariat d'Etat aux migrations; ci-après: le Secrétariat d'Etat) a rejeté cette demande par décision du 7 juin 1995, tout en lui impartissant un délai pour quitter ce pays. Le 26 septembre 1997, cet office a rejeté une demande de réexamen de la décision précitée. L'intéressé a été renvoyé au Kosovo le 4 décembre 1997. Le 16 avril 1998, A._ est revenu en Suisse et y a déposé une nouvelle demande d'asile. Celle-ci a fait l'objet d'une décision de non-entrée en matière, confirmée sur recours le 21 septembre 1998. Suite au mariage de l'intéressé, le 23 août 1999, avec une ressortissante française titulaire d'une autorisation d'établissement, une autorisation de séjour au titre du regroupement familial lui a été délivrée. Aucun enfant n'est issu de cet union. Le 19 mai 2004, A._ a reconnu son fils, B._, ressortissant suisse, né en 1999. En 2006, l'intéressé est devenu père d'une fille, C._, ressortissante kosovare. Les deux enfants de A._ sont nés hors mariage. L'autorisation de l'intéressé a été régulièrement renouvelée jusqu'au 23 août 2009. Celui-ci a divorcé le 17 septembre 2008. A._ a fait l'objet de diverses condamnations. Il a ainsi été condamné, le 28 novembre 1995, à une peine d'emprisonnement de cinq jours, avec sursis pendant un an et à une amende de 200 fr. pour vols d'importance mineure et violation des prescriptions de police des étrangers; le 13 février 1996, à une amende de 200 fr. pour vols d'importance mineure; le 18 décembre 1996, à une peine d'emprisonnement de six semaines, avec sursis pendant deux ans, pour vol, dommage à la propriété et recel; le 2 décembre 1997 à une semaine d'emprisonnement, avec sursis pendant deux ans, pour séjour illégal; le 31 août 1998 à six semaines d'emprisonnement pour non-respect de la décision d'interdiction d'entrée prononcée à son endroit; le 14 décembre 2001 à six jours d'emprisonnement, avec sursis pendant deux ans, pour vol; le 22 juin 2006, sur recours, à neuf mois d'emprisonnement, avec sursis pendant cinq ans, et à une expulsion du territoire suisse pour une durée de trois ans, avec sursis pendant cinq ans, pour contrainte sexuelle; le 20 mars 2006 à une amende de 450 fr. pour violation grave des règles de la circulation routière. Le 8 novembre 2004, l'intéressé a été victime d'un accident professionnel et s'est blessé à la main droite. Depuis lors, il n'a plus travaillé et a touché des indemnités journalières de la SUVA avant d'émarger à l'aide sociale d'août à septembre 2007. Depuis le mois de mai 2008, il a toujours bénéficié de cette aide. Par décision du 13 juin 2007, A._ s'est vu allouer par la SUVA une rente d'invalidité fondée sur un taux d'incapacité de gain de 14 %. Ce taux d'incapacité a été augmenté à 26 % dès le 1 er mars 2007 par décision de la SUVA du 15 novembre 2012. B. Le 7 juillet 2011, le Service des migrations de la République et canton de Neuchâtel, se fondant sur les déclarations de l'intéressé quant à ses relations étroites existant entre ses enfants et lui, a décidé de prolonger l'autorisation de séjour de celui-ci, sous réserve de l'approbation de l'Office fédéral des migrations (ci-après: l'Office fédéral, actuellement: le Secrétariat d'Etat). Ce dernier a refusé de donner son approbation à la prolongation de l'autorisation de séjour de A._ et a prononcé son renvoi de Suisse par décision du 13 décembre 2011. L'intéressé a contesté ce prononcé auprès du Tribunal administratif fédéral. Par arrêt du 8 août 2014, le Tribunal administratif fédéral a rejeté le recours. Il a considéré que l'intéressé avait attenté de manière grave et répétée à la sécurité et l'ordre publics et qu'il dépendait de l'aide sociale. En outre, le Tribunal administratif fédéral a encore jugé qu'il n'était pas question de violation de l'art. 8 CEDH et que la mesure était proportionnée. C. Agissant par la voie du recours en matière de droit public, A._ demande en substance au Tribunal fédéral, outre l'assistance judiciaire et l'effet suspensif, d'annuler l'arrêt du Tribunal administratif fédéral du 8 août 2014 et de prolonger son autorisation de séjour. Il se plaint de violation du droit fédéral et de l'art. 8 CEDH. Par ordonnance du 16 septembre 2014, le Président de la IIe Cour de droit public du Tribunal fédéral a admis la demande d'effet suspensif. Le Tribunal administratif fédéral renonce à prendre position, l'Office fédéral conclut au rejet du recours.