Faits :
A.
A._, ressortissant kosovar, né en 1969, est arrivé en Suisse le 5 septembre 1994 et y a déposé une demande d'asile le 16 décembre 1994. L'Office fédéral des réfugiés (à partir du 1 er janvier 2015: le Secrétariat d'Etat aux migrations; ci-après: le Secrétariat d'Etat) a rejeté cette demande par décision du 7 juin 1995, tout en lui impartissant un délai pour quitter ce pays. Le 26 septembre 1997, cet office a rejeté une demande de réexamen de la décision précitée. L'intéressé a été renvoyé au Kosovo le 4 décembre 1997.
Le 16 avril 1998, A._ est revenu en Suisse et y a déposé une nouvelle demande d'asile. Celle-ci a fait l'objet d'une décision de non-entrée en matière, confirmée sur recours le 21 septembre 1998. Suite au mariage de l'intéressé, le 23 août 1999, avec une ressortissante française titulaire d'une autorisation d'établissement, une autorisation de séjour au titre du regroupement familial lui a été délivrée. Aucun enfant n'est issu de cet union. Le 19 mai 2004, A._ a reconnu son fils, B._, ressortissant suisse, né en 1999. En 2006, l'intéressé est devenu père d'une fille, C._, ressortissante kosovare. Les deux enfants de A._ sont nés hors mariage. L'autorisation de l'intéressé a été régulièrement renouvelée jusqu'au 23 août 2009. Celui-ci a divorcé le 17 septembre 2008.
A._ a fait l'objet de diverses condamnations. Il a ainsi été condamné, le 28 novembre 1995, à une peine d'emprisonnement de cinq jours, avec sursis pendant un an et à une amende de 200 fr. pour vols d'importance mineure et violation des prescriptions de police des étrangers; le 13 février 1996, à une amende de 200 fr. pour vols d'importance mineure; le 18 décembre 1996, à une peine d'emprisonnement de six semaines, avec sursis pendant deux ans, pour vol, dommage à la propriété et recel; le 2 décembre 1997 à une semaine d'emprisonnement, avec sursis pendant deux ans, pour séjour illégal; le 31 août 1998 à six semaines d'emprisonnement pour non-respect de la décision d'interdiction d'entrée prononcée à son endroit; le 14 décembre 2001 à six jours d'emprisonnement, avec sursis pendant deux ans, pour vol; le 22 juin 2006, sur recours, à neuf mois d'emprisonnement, avec sursis pendant cinq ans, et à une expulsion du territoire suisse pour une durée de trois ans, avec sursis pendant cinq ans, pour contrainte sexuelle; le 20 mars 2006 à une amende de 450 fr. pour violation grave des règles de la circulation routière.
Le 8 novembre 2004, l'intéressé a été victime d'un accident professionnel et s'est blessé à la main droite. Depuis lors, il n'a plus travaillé et a touché des indemnités journalières de la SUVA avant d'émarger à l'aide sociale d'août à septembre 2007. Depuis le mois de mai 2008, il a toujours bénéficié de cette aide. Par décision du 13 juin 2007, A._ s'est vu allouer par la SUVA une rente d'invalidité fondée sur un taux d'incapacité de gain de 14 %. Ce taux d'incapacité a été augmenté à 26 % dès le 1 er mars 2007 par décision de la SUVA du 15 novembre 2012.
B.
Le 7 juillet 2011, le Service des migrations de la République et canton de Neuchâtel, se fondant sur les déclarations de l'intéressé quant à ses relations étroites existant entre ses enfants et lui, a décidé de prolonger l'autorisation de séjour de celui-ci, sous réserve de l'approbation de l'Office fédéral des migrations (ci-après: l'Office fédéral, actuellement: le Secrétariat d'Etat). Ce dernier a refusé de donner son approbation à la prolongation de l'autorisation de séjour de A._ et a prononcé son renvoi de Suisse par décision du 13 décembre 2011. L'intéressé a contesté ce prononcé auprès du Tribunal administratif fédéral.
Par arrêt du 8 août 2014, le Tribunal administratif fédéral a rejeté le recours. Il a considéré que l'intéressé avait attenté de manière grave et répétée à la sécurité et l'ordre publics et qu'il dépendait de l'aide sociale. En outre, le Tribunal administratif fédéral a encore jugé qu'il n'était pas question de violation de l'art. 8 CEDH et que la mesure était proportionnée.
C.
Agissant par la voie du recours en matière de droit public, A._ demande en substance au Tribunal fédéral, outre l'assistance judiciaire et l'effet suspensif, d'annuler l'arrêt du Tribunal administratif fédéral du 8 août 2014 et de prolonger son autorisation de séjour. Il se plaint de violation du droit fédéral et de l'art. 8 CEDH.
Par ordonnance du 16 septembre 2014, le Président de la IIe Cour de droit public du Tribunal fédéral a admis la demande d'effet suspensif.
Le Tribunal administratif fédéral renonce à prendre position, l'Office fédéral conclut au rejet du recours.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (<ref-law>; <ref-ruling> consid. 1 p. 476 et les arrêts cités).
1.1. D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit. Selon la jurisprudence, il suffit, sous l'angle de la recevabilité, qu'il existe un droit potentiel à l'autorisation, étayé par une motivation soutenable, pour que cette clause d'exclusion ne s'applique pas et que, partant, la voie du recours en matière de droit public soit ouverte. La question de savoir si les conditions d'un tel droit sont effectivement réunies relève du fond (<ref-ruling> consid. 1.1 p. 179).
En l'occurrence, le recourant se prévaut en particulier de l'art. 8 CEDH (<ref-ruling> consid. 1d/aa p. 64 s.). Ce grief étant articulé de manière soutenable, notamment compte tenu des deux enfants de l'intéressé, le recours échappe au motif d'irrecevabilité de l'art. 83 let. c ch. 2 LTF et la voie du recours en matière de droit public est donc ouverte.
1.2. Pour le surplus, l'arrêt attaqué est une décision finale (<ref-law>), rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (<ref-law>). Déposé en temps utile (<ref-law>) et dans les formes prescrites (<ref-law>) par le destinataire de l'arrêt attaqué qui a qualité pour recourir au sens de l'<ref-law>, le recours en matière de droit public est par conséquent recevable.
2.
Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral (cf. art. 95 let. a et 106 al. 1 LTF), sous réserve des exigences de motivation figurant à l'<ref-law>. Il y procède en se fondant sur les faits constatés par l'autorité précédente (cf. <ref-law>), à moins que ces faits n'aient été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire (<ref-ruling> consid. 7.1 p. 51) - ou en violation du droit au sens de l'<ref-law> (cf. <ref-law>). Si le recourant entend s'écarter des constations de l'autorité précédente (cf. <ref-law>), il doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> seraient réalisées. Sinon, il n'est pas possible de tenir compte d'un état de fait divergent de celui qui est contenu dans l'acte attaqué (<ref-ruling> consid. 5.2.2 p. 322 s.; <ref-ruling> consid. 6.2 p. 288). En particulier, le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (<ref-ruling> consid. 5.1 p. 356; <ref-ruling> consid. 3 p. 104).
En l'espèce, le recourant invoque notamment la constatation inexacte et incomplète des faits. Toutefois, c'est sous une forme purement appellatoire qu'il s'en prend à l'état de fait retenu par le Tribunal administratif fédéral. Ainsi, en tant qu'il avance des éléments de fait ne ressortant pas du jugement attaqué, par exemple en relation avec certains passages d'une expertise médicale, sans exposer en quoi les conditions qui viennent d'être rappelées seraient réunies, il n'en sera pas tenu compte. Son recours, sur ce point, doit en conséquence être déclaré irrecevable.
3.
Le recourant invoque une violation de l'art. 62 let. c et e LEtr (RS 142.20). Il estime que c'est sans sa faute qu'il s'est trouvé dépendant de l'aide sociale et que son activité pénale est trop ancienne pour qu'il soit considéré comme attentant de manière grave et répétée à la sécurité et l'ordre publics.
3.1. En l'occurrence, le litige porte sur le refus de prolonger une autorisation de séjour (ou plus précisément le refus d'approuver la prolongation). Le Tribunal administratif fédéral a appliqué l'art. 33 al. 3 LEtr, disposition à caractère potestatif. Le Tribunal fédéral, au contraire de l'autorité précédente, ne saurait statuer sur une autorisation fondée sur cette disposition (cf. arrêt 2C_184/2014 du 4 décembre 2014 consid. 4.2). Il n'en demeure pas moins qu'au vu des neuf ans de mariage du recourant avec une ressortissante française au bénéfice d'une autorisation d'établissement, celui-ci doit a priori pouvoir se prévaloir de l'art. 50 al. 1 let. a LEtr, dont le Tribunal fédéral examine d'office l'application (il ne ressort cependant pas de l'arrêt entrepris à quelle date les époux se sont séparés). Toutefois, au vu de l'art. 51 al. 2 let. a LEtr, qui dispose en particulier que le droit prévu à l'art. 50 LEtr s'éteint s'il existe un motif de révocation au sens de l'art. 62 LEtr, la question de l'existence de ce droit souffre toutefois de rester indécise compte tenu du sort de la cause.
3.2. Selon l'art. 62 LEtr, l'autorité compétente peut révoquer une autorisation lorsque l'étranger ou son représentant légal a fait de fausses déclarations ou a dissimulé des faits essentiels durant la procédure d'autorisation (let. a); lorsque l'étranger a été condamné à une peine privative de liberté de longue durée ou a fait l'objet d'une mesure pénale prévue aux art. 64 ou 61 CP (let. b); lorsqu'il attente de manière grave ou répétée à la sécurité et l'ordre publics en Suisse ou à l'étranger, les met en danger ou représente une menace pour la sécurité intérieure ou extérieure de la Suisse (let. c); lorsqu'il ne respecte pas les conditions dont la décision est assortie (let. d); lorsque lui-même ou une personne dont il a la charge dépend de l'aide sociale (let. e). L'autorité précédente ayant admis des cas d'atteinte à la sécurité et l'ordre publics fondés sur l'art. 62 let. c LEtr et de dépendance à l'aide sociale fondés sur l'art. 62 let. e LEtr, c'est par l'examen de ces dispositions particulières qu'il convient de débuter.
3.3. Il y a atteinte à la sécurité et à l'ordre publics, au sens des art. 62 let. c LEtr et 80 al. 1 let. a de l'ordonnance fédérale du 24 octobre 2007 relative à l'admission, au séjour et à l'exercice d'une activité lucrative (OASA; RS 142.201), notamment en cas de violation importante ou répétée de prescriptions légales ou de décisions d'autorité. Tel est aussi le cas lorsque les actes individuels ne justifient pas en eux-mêmes une révocation, mais que leur répétition montre que la personne concernée n'est pas prête à se conformer à l'ordre en vigueur (arrêts 2C_977/2012 du 15 mars 2013 consid. 3.4; 2C_915/2010 du 4 mai 2011 consid. 3.2.1). Les infractions contre l'intégrité sexuelle constituent en règle générale une atteinte "très grave" à la sécurité et à l'ordre publics (arrêt 2C_481/2012 du 1 er mars 2013 consid. 2.3; cf. <ref-ruling> consid. 3.3 p. 303). Ayant fait l'objet de huit condamnations pénales, dont une à neuf mois d'emprisonnement pour contrainte sexuelle, et s'étant montré rétif aux injonctions faites par les autorités de quitter la Suisse, le recourant doit se faire opposer ce motif de refus. Le fait que certaines infractions soient anciennes n'y change rien. De plus, sa situation financière privée, telle qu'elle est décrite dans l'arrêt attaqué, c'est-à-dire 18 actes de défaut de biens pour un montant de 65'436 fr. 40 et deux poursuites pour un montant de 12'851 fr. 20, constitue également une atteinte à l'ordre public (cf. <ref-ruling> consid. 3.3 p. 303 s.; arrêt 2C_310/2011 du 17 novembre 2011 consid. 5.1).
3.4. Il s'ensuit que le recourant remplit au moins les conditions de l'art. 62 let. c LEtr, qui font échec à la prolongation de son autorisation de séjour. Partant, il n'est pas nécessaire d'examiner si le refus de prolonger cette autorisation peut également être motivé par l'art. 62 let. e LEtr ou par un autre cas prévu par l'art. 62 LEtr.
4.
Le recourant invoque ensuite l'art. 8 CEDH. Son fils, de nationalité suisse, et sa fille, de nationalité kosovare, vivant tous deux en Suisse, il estime bénéficier d'un droit à la prolongation de son autorisation de séjour.
4.1. L'art. 8 CEDH ne confère en principe pas un droit à séjourner dans un Etat déterminé. Le fait de refuser un droit de séjour à un étranger dont la famille se trouve en Suisse peut toutefois entraver sa vie familiale et porter ainsi atteinte au droit au respect de la vie privée et familiale garanti par cette disposition (<ref-ruling> consid. 3.1 p. 146 s. et les références citées). Il n'y a toutefois pas atteinte à la vie familiale si l'on peut attendre des membres de la famille qu'ils réalisent leur vie de famille à l'étranger; l'art. 8 CEDH n'est pas a priori violé si le membre de la famille jouissant d'un droit de présence en Suisse peut quitter ce pays sans difficultés avec l'étranger auquel a été refusée une autorisation de séjour (<ref-ruling> ibidem et les références citées). En revanche, si le départ du membre de la famille pouvant rester en Suisse ne peut d'emblée être exigé sans autres difficultés, il convient de procéder à la pesée des intérêts prévue par l'art. 8 par. 2 CEDH. Celle-ci suppose de tenir compte de l'ensemble des circonstances et de mettre en balance l'intérêt privé à l'obtention d'un titre de séjour et l'intérêt public à son refus (<ref-ruling> consid. 2.1 p. 155).
4.2. Selon la jurisprudence, le parent qui n'a pas l'autorité parentale ni la garde de l'enfant ne peut d'emblée entretenir une relation familiale avec celui-ci que de manière limitée, en exerçant le droit de visite dont il bénéficie. Or, il n'est en principe pas nécessaire que, dans l'optique de pouvoir exercer son droit de visite, le parent étranger soit habilité à résider durablement dans le même pays que son enfant. Sous l'angle du droit à une vie familiale (cf. art. 8 par. 1 CEDH), il suffit en règle générale que le parent vivant à l'étranger exerce son droit de visite dans le cadre de séjours de courte durée, au besoin en aménageant ses modalités quant à la fréquence et à la durée (cf. <ref-ruling> consid. 2.2). Le droit de visite d'un parent sur son enfant ne doit en effet pas nécessairement s'exercer à un rythme bimensuel et peut également être organisé de manière à être compatible avec des séjours dans des pays différents (cf. arrêt 2C_1031/2011 du 22 mars 2012 consid. 4.2.3). Selon la jurisprudence constante du Tribunal fédéral, un droit plus étendu ne peut le cas échéant exister qu'en présence de liens familiaux particulièrement forts d'un point de vue affectif et économique, lorsque cette relation ne pourrait pratiquement pas être maintenue en raison de la distance qui sépare le pays de résidence de l'enfant du pays d'origine de son parent, et que l'étranger a fait preuve en Suisse d'un comportement irréprochable (<ref-ruling> consid. 3.2 p. 147 s. et les arrêts cités).
4.3. En l'espèce, selon les faits retenus par l'autorité précédente, le recourant n'a ni l'autorité parentale, ni la garde de ses enfants (l'un Suisse, l'autre Kosovar). Il s'ensuit qu'un éventuel éloignement du père ne remettrait pas en cause leur séjour en Suisse et que la jurisprudence du Tribunal fédéral relative au regroupement familial inversé lorsque l'enfant a la nationalité suisse ne trouve pas d'application à la situation du recourant (cf. <ref-ruling> consid. 5.2 et les références citées, dans lequel il n'est pas exigé du parent qui se prévaut de l'art. 8 CEDH, qui a la garde exclusive et l'autorité parentale sur l'enfant, qu'il ait fait preuve d'un comportement irréprochable).
4.4. L'exigence du lien affectif particulièrement fort doit être considérée comme remplie sur le plan affectif lorsque les contacts personnels sont effectivement exercés dans le cadre d'un droit de visite usuel selon les standards d'aujourd'hui, lorsque l'étranger détient déjà un droit de séjour en Suisse, de façon à prendre en compte l'art. 9 par. 3 de la Convention du 20 novembre 1989 relative aux droits de l'enfant (CDE; RS 0.107) sans toutefois déduire de dite convention une prétention directe à l'octroi d'une autorisation (<ref-ruling> consid. 2.4 et 2.5).
Il ressort de l'arrêt entrepris que le recourant n'a jamais vécu avec son fils, né en 1999, qu'il n'a reconnu ce dernier qu'en mai 2004 et qu'il savait dès la naissance de l'enfant qu'il en était le père. Ce n'est qu'après avoir reconnu son enfant qu'il a commencé à le voir, à raison d'une demi-journée par semaine, généralement en présence de la mère. Le recourant a versé une pension alimentaire à son fils depuis le 1 er janvier 2005 et a cessé tout versement dès le 1er septembre 2008 en raison de sa situation financière précaire. En octobre 2008, l'autorité tutélaire a ratifié la convention passée entre les parents visant à supprimer la pension alimentaire. S'agissant de sa fille kosovare, née en 2006 et disposant d'une autorisation de séjour, le recourant, malgré une convention d'entretien signée en avril 2007, ne verse aucune pension alimentaire. Le rythme des visites, fondé sur les déclarations de la mère, n'est pas clairement établi.
Compte tenu des difficultés constatées pour le paiement de la pension alimentaire de ses enfants, il ne saurait être question de lien affectif particulièrement fort qui mérite la protection de l'art. 8 CEDH. En effet, la raison pour laquelle le recourant ne s'acquitte pas de son dû n'est pas déterminante. Afin d'apprécier l'intensité du lien économique entre les intéressés, seul compte en définitive le fait que la pension ne soit pas versée. Cette question est appréciée de manière objective (arrêt 2C_173/2009 du 10 septembre 2009 consid. 4.2). Au demeurant, que le recourant ait été dispensé de payer une pension alimentaire en faveur de son fils n'est en l'espèce pas pertinent. Outre le fait qu'il ne procède à aucun versement en faveur de sa fille sans en avoir été dispensé, le recourant a attendu plus de cinq ans avant de soutenir financièrement l'enfant qu'il savait être son fils. Dans ces conditions, on ne peut admettre un lien familial fort d'un point de vue économique.
4.5. Selon la jurisprudence, on ne saurait parler de comportement irréprochable lorsqu'il existe, à l'encontre de l'étranger qui se prévaut de l'art. 8 CEDH, des motifs d'éloignement, en particulier si l'on peut lui reprocher un comportement répréhensible sur le plan pénal ou en regard de la législation sur les étrangers (arrêt 2C_762/2013 du 31 janvier 2014 consid. 5.1 i.f.). Par ailleurs, en droit des étrangers, le respect de l'ordre et de la sécurité publics ne se recoupent pas nécessairement avec la violation de dispositions pénales, de sorte que l'appréciation émise par l'autorité de police des étrangers peut s'avérer plus rigoureuse que celle de l'autorité pénale (cf. <ref-ruling> consid. 4.3 p. 150 s. et les références citées).
En l'occurrence, le recourant a fait l'objet d'un important nombre de condamnations pénales depuis qu'il est en Suisse. Il a en particulier commis une grave infraction contre l'intégrité sexuelle d'un enfant et mis en danger l'intégrité physique des usagers de la route en violant gravement les règles de la circulation routière. Même s'il n'a plus été condamné dernièrement, par son comportement, il a démontré qu'il n'entendait pas se soumettre au système juridique suisse. De plus, au plan financier, il faut constater qu'il fait l'objet de deux poursuites et de 18 actes de défaut de biens, pour un montant total de 78'287 fr. 60. Force est dès lors de constater que le recourant n'a pas pu ou n'a pas voulu rétablir une situation financière fortement obérée, dont il n'est pas exclu qu'elle n'empire encore.
4.6. Le recourant ne présentant pas de lien affectif fort avec ses enfants et ne pouvant se targuer d'un comportement irréprochable, il ne saurait être question de violation de l'art. 8 CEDH.
5.
En dernier lieu, hormis les liens du recourant avec ses enfants, dont on a vu qu'ils ne justifient pas à eux seuls son séjour en Suisse, l'arrêt attaqué ne révèle aucun élément déterminant qui ferait apparaître le refus de prolonger l'autorisation de séjour du recourant comme disproportionné (cf. art. 96 LEtr, dont l'examen se confond avec celui imposé par l'art. 8 par. 2 CEDH; cf. arrêt 2C_643/2014 du 13 décembre 2014 consid. 7.2). Il ne fait ainsi pas montre d'une intégration particulièrement marquée et n'a pas tissé de relation privilégiée en Suisse. Par ailleurs, il émarge depuis de nombreuses années à l'aide sociale. A ce propos, le fait qu'il perçoive une rente de l'assurance-accident n'a pas d'incidence dans la pesée des intérêts en présence. En effet, même s'il ne faut pas minimiser son incapacité de gain, force est de constater que le recourant présente toujours une capacité résiduelle de 74 % qui devrait lui permettre, au moins dans une faible mesure, de limiter sa dépendance à l'aide sociale. En outre, le recourant est né et a grandi dans son pays d'origine jusqu'à l'âge de 19 ans. Il y a ainsi passé son enfance et son adolescence et, selon les constatations de l'autorité précédente, y a également conservé d'importantes attaches familiales.
6.
Les considérants qui précèdent conduisent au rejet du recours, dans dans la mesure où il est recevable. Le recours étant manifestement dépourvu de chances de succès, la demande d'assistance judiciaire est rejetée (<ref-law>). Succombant, le recourant doit ainsi supporter les frais judiciaires, lesquels seront réduits eu égard à sa situation économique (<ref-law>). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué au mandataire du recourant, au Secrétariat d'Etat aux migrations, au Tribunal administratif fédéral, Cour III, et au Service des migrations de la République et canton de Neuchâtel.
Lausanne, le 13 février 2015
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Zünd
Le Greffier : Tissot-Daguette