Faits:
A. X._, ressortissant français né le 21 février 1980, est arrivé en Suisse au mois d'octobre 1985 pour rejoindre sa mère qui avait épousé un ressortissant suisse. Il a suivi sa scolarité obligatoire à A._ et a poursuivi des études au gymnase de la même ville sans toutefois les mener à terme. Initialement mis au bénéfice d'une autorisation de séjour, il a ensuite reçu, à une date qui ne ressort pas du dossier, une autorisation d'établissement puis, à partir du 14 novembre 2003, une autorisation d'établissement CE/AELE, avec délai de contrôle au 21 mai 2007; celle-ci précisait, comme but du séjour, "la recherche d'un emploi".
Dès l'âge de quatorze ans, X._ a commencé à consommer de l'héroïne. Il a depuis lors constamment occupé les services de police et les tribunaux de la région, notamment pour des infractions à la Loi fédérale du 3 octobre 1951 sur les stupéfiants et les substances psychotropes (Loi sur les stupéfiants, LStup; RS 812.121), des vols, des dommages à la propriété, des violations de domicile. Peu avant d'avoir atteint ses dix-sept ans, il a entamé une cure de désintoxication aux établissements du B._ et du C._, à D._. Ceci ne l'a toutefois nullement empêché de recommencer à consommer des stupéfiants après coup.
Le 23 janvier 1998, l'Autorité tutélaire du district de La Chaux-de-Fonds l'a condamné à un placement en maison d'éducation pour un an au minimum. Il s'est évadé à deux reprises de l'établissement, à savoir en février et en août 1998.
X._ a fait l'objet de toute une série de condamnations:
- Le 4 novembre 1998, le Tribunal correctionnel du district de La Chaux-de-Fonds l'a condamné à dix mois d'emprisonnement pour vol, vol d'importance mineure, dommages à la propriété et infraction à la Loi sur les stupéfiants;
- le 10 février 2000, le Tribunal de police du district de La Chaux-de-Fonds l'a condamné à nonante jours d'emprisonnement pour vol, abus de confiance et infractions à la Loi sur les stupéfiants. L'exécution de la peine a été suspendue au profit d'un traitement ambulatoire dans un établissement pour toxicomanes;
- le 6 juillet 2000, le Tribunal de police du district de Neuchâtel l'a condamné à dix jours d'arrêt sans sursis pour contravention à la Loi sur les stupéfiants, peine partiellement complémentaire à celle prononcée le 10 février 2000 et qui a également été suspendue au profit d'un traitement ambulatoire;
- le 3 septembre 2002, le Tribunal de police du district de Neuchâtel l'a condamné à trente jours d'emprisonnement sans sursis pour vol, menaces et infraction à la Loi sur les stupéfiants;
- le 13 février 2004, le Tribunal correctionnel du district de La Chaux-de-Fonds l'a condamné à seize mois d'emprisonnement pour tentatives de vol, vols, dommages à la propriété, violation de domicile, infractions à la loi fédérale du 20 juin 1997 sur les armes, les accessoires d'armes et les munitions (Loi sur les armes, LArm; RS 514.54) et infraction à la Loi sur les stupéfiants;
- le 9 juin 2005, il a derechef été condamné à une amende de 200 fr. pour infraction à la Loi sur les stupéfiants;
- le 20 décembre 2006, le Tribunal correctionnel du district de Neuchâtel l'a condamné à vingt mois d'emprisonnement pour vol, tentative de vol, utilisation frauduleuse d'un ordinateur ainsi qu'infraction grave à la Loi sur sur les stupéfiants;
- le 24 août 2007, le Tribunal correctionnel du district de Neuchâtel l'a condamné à une peine privative de liberté sans sursis de douze mois pour vol, dommages à la propriété, violation de domicile et infractions à la Loi sur les stupéfiants. La totalité des infractions jugées avait été commise durant le délai d'épreuve d'une libération conditionnelle octroyée le 4 janvier 2007. L'exécution de la peine a été suspendue au profit d'un traitement institutionnel des addictions, qui a été abrogé le 31 août 2007;
- le 8 mai 2008, le Tribunal de police du district de Neuchâtel l'a condamné à une peine privative de liberté de cent jours sans sursis pour infraction à la Loi sur les stupéfiants, jugement confirmé par la Cour de cassation pénale le 3 juillet 2008.
La durée totale des peines privatives de liberté s'élève à cinq ans et cinq mois.
X._ a par ailleurs été arrêté par la police biennoise en mars 2009, en possession de marijuana. Il a également admis, en septembre 2009, avoir commis des vols en s'introduisant de manière clandestine chez des gens en violation de leur domicile. En outre, de la drogue a été saisie lors d'une perquisition de la police à son domicile le 8 septembre 2009.
B. Après avoir envisagé l'expulsion de X._ en raison de ses activités délictuelles, l'Office cantonal des étrangers (devenu par la suite le Service cantonal des étrangers puis le Service cantonal des migrations; ci-après indifféremment cité: le Service cantonal) a finalement renoncé, le 3 juin 1998, à prononcer une mesure administrative. Le 30 septembre 2004, le Service cantonal lui a adressé un sévère avertissement et l'a prévenu qu'une procédure de renvoi de Suisse pourrait être engagée s'il commettait de nouvelles infractions.
Au regard de la poursuite de son activité délictuelle et après lui avoir accordé un droit d'être entendu, en avril 2008, le Service cantonal a décidé, le 16 mai 2008, de révoquer l'autorisation d'établissement de X._ et lui a imparti un délai de départ pour quitter la Suisse au jour de sa libération. Saisi d'un recours, le Département de l'économie du canton de Neuchâtel l'a rejeté, par décision du 22 juin 2009, en considérant en substance que le parcours personnel de l'intéressé mettait en évidence son incapacité à s'adapter à l'ordre établi en Suisse. En particulier, ses nombreuses condamnations, ainsi que le sévère avertissement prononcé en septembre 2004, ne l'avaient pas empêché de récidiver.
Par jugement du 15 janvier 2010, le Tribunal administratif du canton de Neuchâtel (ci-après: le Tribunal cantonal) a rejeté le recours formé par X._ contre la décision du Département cantonal de l'économie.
C. X._ dépose un recours en matière de droit public contre l'arrêt du Tribunal cantonal. Il conclut à l'octroi de l'effet suspensif au recours ainsi qu'au bénéfice de l'assistance judiciaire gratuite. Sur le fond, il requiert l'annulation de la décision attaquée, sous suite de frais et dépens, ainsi que le prolongation de son autorisation d'établissement. En substance, il se prévaut d'une mauvaise pesée des intérêts, ceux présidant à la poursuite de son séjour en Suisse devant prévaloir sur ceux qui pourraient justifier la révocation de son autorisation d'établissement.
Le Tribunal cantonal conclut au rejet du recours, à l'instar du Service cantonal qui précise que X._ n'a pas demandé la prolongation de son permis d'établissement et déposé les documents usuels à l'échéance du délai de contrôle (21 mai 2007), si bien que les difficultés qu'il allègue pour trouver un travail en l'absence d'un titre de séjour lui sont imputables.
Par ordonnance du 18 février 2010, le Président de la IIe Cour de droit public du Tribunal fédéral a octroyé l'effet suspensif au recours.

Considérant en droit:
1. Le Tribunal fédéral examine d'office sa compétence (<ref-law>). Il contrôle donc librement la recevabilité des recours qui sont déposés devant lui.
1.1 Selon l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable à l'encontre des décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit. A cet égard, il suffit que le recourant démontre de manière soutenable l'existence d'un droit potentiel à une autorisation de séjour pour que son recours soit recevable; le point de savoir si toutes les conditions sont effectivement réunies dans un cas particulier relève de l'examen au fond (<ref-ruling> consid. 1.1 p. 179).
1.1.1 En l'espèce, le litige porte sur la révocation de l'autorisation d'établissement CE/AELE accordée au recourant le 14 novembre 2003, avec délai de contrôle au 21 mai 2007. La loi fédérale du 16 décembre 2005 sur les étrangers (LEtr; RS 142.20) est entrée en vigueur le 1er janvier 2008 (RO 2007 5487). En vertu de l'art. 126 al. 1 LEtr, les demandes déposées avant cette date sont régies par l'ancien droit. Lorsqu'est en cause une procédure introduite d'office, comme dans la présente affaire, le moment déterminant pour déterminer la loi applicable est celui auquel l'autorité compétente a introduit la procédure de révocation. En l'espèce, c'est en avril 2008 que le Service cantonal a averti le recourant de sa volonté de révoquer l'autorisation. Le litige doit donc être tranché par la LEtr.
Il semble que le recourant n'ait, selon les précisions du Service cantonal, pas demandé la prolongation de son autorisation d'établissement à l'expiration du délai de contrôle en mai 2007. Peu importe toutefois, car une telle autorisation est, comme le relève le Service cantonal, octroyée pour une durée indéterminée et sans conditions (cf. art. 34 al. 1 LEtr). Il existe donc un véritable droit à son maintien, si bien que sa révocation ouvre, en principe, la voie du recours en matière de droit public sous l'angle de l'art. 83 let. c ch. 2 LTF. L'examen des conditions de la révocation, notamment sa proportionnalité, relève du fond de la cause (cf. <ref-ruling> consid. 1.2.1 p. 4).
1.1.2 Par ailleurs, depuis l'entrée en vigueur, le 1er juin 2002, de l'Accord sur la libre circulation des personnes (ALCP; RS 0.142.112.681; ci-après également cité: l'Accord), le recourant peut également, en principe, du seul fait de sa nationalité française, déduire de l'Accord un droit à une autorisation de séjour en Suisse, notamment aux fins d'y exercer une activité économique (dépendante ou indépendante), d'y rechercher un emploi, voire même, à certaines "conditions préalables", d'y vivre sans exercer d'activité économique (cf. art. 2 par. 1 et 2 annexe I ALCP, <ref-ruling> consid. 1.2 p. 343). En effet, le champ d'application personnel et temporel de l'Accord ne dépend pas du moment auquel un ressortissant communautaire arrive ou est arrivé en Suisse, mais seulement de l'existence d'un droit de séjour garanti par l'Accord au moment déterminant, soit lorsque le droit litigieux est exercé (cf. <ref-ruling> consid. 2 p. 13). Sous cet angle également, le motif d'irrecevabilité prévu à l'art. 83 lit. c ch. 2 LTF n'est donc pas opposable au recourant, sans toutefois que cela ne préjuge de l'existence effective du droit litigieux à une autorisation de séjour, ce point étant examiné avec le fond de la cause (cf. <ref-ruling> consid. 1.2 p. 343 et les références citées).
1.2 Pour le surplus, formé en temps utile et dans les formes prescrites (cf. art. 42 et 44 ss LTF) par le destinataire de la décision attaquée qui a intérêt à obtenir l'annulation ou la modification de celle-ci (cf. <ref-law>), le recours est recevable.
2. Une autorisation de séjour CE/AELE a une portée purement déclaratoire; son retrait ou sa non-prolongation supposent donc que les conditions constitutives qui fondent une telle autorisation aient disparues (cf. arrêt 2C_558/2009 du 26 avril 2010, consid. 2.2 in fine destiné à la publication), par exemple en raison du défaut d'une condition requise pour exercer le droit litigieux ou à cause de l'existence d'un motif d'ordre public au sens de l'<ref-law>.
Lorsque, comme en l'espèce, le litige porte sur la révocation d'une autorisation d'établissement (de durée indéterminée) accordée à un ressortissant communautaire (autorisation d'établissement CE/AELE), il faut examiner non seulement si une telle révocation est conforme à l'Accord (sur ce point, cf. infra consid. 3), mais aussi au droit interne (cf. infra consid. 4), plus spécifiquement à l'art. 63 LEtr (cf. art. 23 al. 2 de l'ordonnance du 22 mai 2002 sur l'introduction progressive de la libre circulation des personnes entre, d'une part, la Confédération suisse et, d'autre part, la Communauté européenne et ses Etats membres, ainsi qu'entre les Etats membres de l'Association européenne de libre-échange [OLCP, Ordonnance sur l'introduction de la libre circulation des personnes; RS 142.203]).
3. 3.1 Selon les faits ressortant de l'arrêt attaqué, le recourant n'exerce pas d'activité économique, ni à titre de travailleur salarié au sens des <ref-law>, ni à titre d'indépendant au sens des <ref-law>. Il ne prétend du reste pas le contraire, mais se borne à alléguer que, ne disposant plus d'autorisation d'établissement, "il se trouve ainsi empêché depuis plusieurs années de trouver un emploi" (recours, p. 4). Cela étant, le recourant ne saurait exciper de l'Accord un droit de séjourner en Suisse en qualité de personne à la recherche d'un emploi au sens de l'art. 2 par. 1 al. 2 in fine annexe I ACLP, comme cela avait été le cas dans l'autorisation d'établissement CE/AELE qui lui avait été délivrée le 14 novembre 2003. Etant au bénéfice de l'aide sociale depuis plusieurs années selon les constatations cantonales, il ne peut en effet prétendre à la reconnaissance d'un tel statut (cf. <ref-ruling> consid. 3.1 p. 391 s. et consid. 3.3 p. 393 s.), sans compter qu'il a largement dépassé le temps qui pourrait lui être imparti pour trouver un emploi (eod. loc.).
Par ailleurs, le recourant ne soutient pas qu'il pourrait déduire de l'Accord un droit de séjour à un autre titre. En particulier, il n'allègue pas qu'il pourrait s'établir en Suisse en qualité de personne n'exerçant pas une activité économique au sens de l'<ref-law>. Quoi qu'il en soit, comme bénéficiaire de l'aide sociale, il ne dispose manifestement pas des moyens financiers suffisants pour bénéficier d'une telle autorisation au sens de l'art. 24 par. 1 let. a et par 2 annexe I ALCP (cf. <ref-ruling> consid. 3.3 p. 269 s. et les références citées).
3.2 Dans ces conditions, le recourant ne peut déduire de l'Accord aucun droit à une autorisation de séjour, faute de se trouver dans un cas de libre circulation. Dans cette mesure, il n'est pas nécessaire d'examiner, comme l'a fait le Tribunal cantonal, s'il existe à son encontre un motif d'ordre public au sens de l'<ref-law>. La question de la révocation du son autorisation d'établissement dépend du seul droit interne.
4. 4.1 L'art. 63 LEtr, qui traite de la révocation de l'autorisation d'établissement, a la teneur suivante:
"1 L'autorisation d'établissement ne peut être révoquée que dans les cas suivants:
a. les conditions visées à l'art. 62, let. a ou b, sont remplies;
b. l'étranger attente de manière très grave à la sécurité et l'ordre publics en Suisse ou à l'étranger, les met en danger ou représente une menace pour la sécurité intérieure ou extérieure de la Suisse;
c. lui-même ou une personne dont il a la charge dépend durablement et dans une large mesure de l'aide sociale.
2 L'autorisation d'établissement d'un étranger qui séjourne en Suisse légalement et sans interruption depuis plus de quinze ans ne peut être révoquée que pour les motifs mentionnés à l'al. 1, let. b, et à l'art. 62, let. b."
L'art. 62 let. b LEtr auquel renvoie l'art. 63 LEtr prévoit pour sa part que l'autorisation peut être révoquée si l'étranger a été condamné à une peine privative de liberté de longue durée ou a fait l'objet d'une mesure pénale prévue aux art. 64 ou 61 du code pénal.
Selon la jurisprudence, une peine privative de liberté est de longue durée lorsqu'elle dépasse un an d'emprisonnement (<ref-ruling> consid. 4.2 et 4.5 p. 379 s.), et ce indépendamment de ce qu'elle a été prononcée avec un sursis complet ou partiel, respectivement sans sursis (arrêt 2C_515/2009 du 27 janvier 2010, consid. 2.1). Les motifs de révocation de l'art. 63 LEtr correspondent en principe aux motifs d'expulsion prévus à l'art. 10 de la loi fédérale du 26 mars 1931 sur le séjour et l'établissement des étrangers (LSEE; RS 1 113). Ainsi, comme sous l'empire de la LSEE, le refus, respectivement la révocation de l'autorisation, ne se justifient que si la pesée des intérêts à effectuer dans le cas d'espèce fait apparaître la mesure comme proportionnée. Il convient donc de prendre en considération, dans la pesée des intérêts publics et privés en présence, la gravité de la faute commise, le degré d'intégration respectivement la durée du séjour effectué en Suisse et le préjudice que l'intéressé et sa famille auraient à subir en raison de la mesure, tel que prévu par l'art. 96 al. 1 LEtr (cf. <ref-ruling> consid. 4.3 p. 381). A cet égard, le fait qu'un étranger soit né en Suisse (étranger de la deuxième génération) ou qu'il y ait passé la majeure partie de son enfance et de son adolescence revêt une importance non négligeable (cf. <ref-ruling> consid. 4.2 à 4.4 p. 185 ss). La durée de présence en Suisse n'est toutefois pas prise en compte de manière absolue, en ce sens que les années passées en l'absence d'un titre de séjour, en prison, ou au bénéfice d'une simple tolérance, ne sont pas déterminantes dans la pesée des intérêts (<ref-ruling>, consid. 4.3; <ref-ruling>, consid. 4.6).
Quand une décision de refus d'octroyer une autorisation d'établissement ou de révoquer une telle autorisation se fonde, comme en l'espèce, sur la commission d'une infraction, la peine infligée par le juge pénal est le premier critère servant à évaluer la gravité de la faute et à procéder à la pesée des intérêts en présence (arrêt 2C_651/2009 du 1er mars 2010 consid. 4.2 et les arrêts cités). Contrairement à ce qui prévaut pour la mise en oeuvre de l'<ref-law>, la condition d'une "menace actuelle" pour l'ordre public n'est pas nécessaire pour révoquer une autorisation d'établissement au sens de l'art. 63 LEtr. Lorsqu'une telle révocation intervient en dehors des droits garantis par l'Accord, le risque de récidive joue donc un rôle moindre que sous l'angle de l'<ref-law>, en ce sens que ce risque ne revêt pas le caractère d'une véritable condition, mais s'apparente à un élément - certes important - à prendre en considération dans la pesée des intérêts devant être effectuée.
Quand une décision de refus d'octroyer une autorisation d'établissement ou de révoquer une telle autorisation se fonde, comme en l'espèce, sur la commission d'une infraction, la peine infligée par le juge pénal est le premier critère servant à évaluer la gravité de la faute et à procéder à la pesée des intérêts en présence (arrêt 2C_651/2009 du 1er mars 2010 consid. 4.2 et les arrêts cités). Contrairement à ce qui prévaut pour la mise en oeuvre de l'<ref-law>, la condition d'une "menace actuelle" pour l'ordre public n'est pas nécessaire pour révoquer une autorisation d'établissement au sens de l'art. 63 LEtr. Lorsqu'une telle révocation intervient en dehors des droits garantis par l'Accord, le risque de récidive joue donc un rôle moindre que sous l'angle de l'<ref-law>, en ce sens que ce risque ne revêt pas le caractère d'une véritable condition, mais s'apparente à un élément - certes important - à prendre en considération dans la pesée des intérêts devant être effectuée.
4.2 4.2.1 En l'espèce, l'autorité cantonale a pesé avec soin les différents intérêts en présence, tandis que l'argumentation du recourant sur ce point est sommaire. Il suffit dès lors de renvoyer à l'analyse du Tribunal administratif (consid. 3 du jugement entrepris), en rappelant simplement quelques faits saillants:
X._ a été condamné à dix reprises, entre le 4 novembre 1998 et le 8 mai 2008, pour des infractions à la Loi sur les stupéfiants, ainsi que pour des tentatives de vol, des vols, des dommages à la propriété, des violations de domicile, un abus de confiance, des menaces, une infraction à la Loi sur les armes et pour utilisation frauduleuse d'un ordinateur. Les peines vont de 200 francs d'amende à vingt mois d'emprisonnement et la durée totale des peines privatives de liberté s'élève à cinq ans et cinq mois. En 1998 déjà, l'intéressé avait été placé en maison d'éducation et il avait reçu une mise en garde du Service cantonal sur le risque de se voir expulser du territoire suisse, ce qui n'avait eu aucun effet sur lui. En 2004, il avait également reçu un sévère avertissement du Service cantonal. A nouveau en pure perte. En effet, le recourant sera encore condamné à vingt mois d'emprisonnement en décembre 2006 et à douze mois d'emprisonnement en août 2007. Les infractions réprimées à ces occasions, toutes commises durant le délai d'épreuve de la libération conditionnelle octroyée le 4 janvier 2007, ont été qualifiées de graves. Enfin, l'intéressé a derechef été arrêté par la police biennoise en mars 2009 en possession de stupéfiants et il a admis, en septembre 2009, avoir commis des vols par introduction clandestine et des violations de domicile.
Au vu de la gravité des fautes commises, seules des circonstances exceptionnelles seraient de nature, dans la pesée des intérêts, à contre-balancer les éléments plaidant en faveur de la révocation de l'autorisation d'établissement du recourant. D'autant que ce dernier représente un danger important pour l'ordre et la sécurité publics, le nombre et la fréquence des infractions commises sur une longue période laissant redouter un fort risque de récidive.
4.2.2 Pour l'essentiel, le recourant fait valoir la durée de son séjour en Suisse. Celui-ci est en effet assez long puisqu'il a débuté en 1985, alors que l'intéressé était âgé de cinq ans. Cette durée n'est cependant, à elle seule, pas un élément d'un poids décisif, d'autant qu'elle doit être relativisée: en effet, le prénommé a passé une partie importante de son existence en maison d'éducation, puis en prison, toutes périodes qui, comme on l'a vu (supra consid. 4.1), ne sont pas déterminantes dans la pesée des intérêts.
A cela s'ajoute que, selon les constatations cantonales, le recourant a pour seule relation familiale en Suisse sa mère qui vit six mois de l'année à l'étranger (en Egypte), et qu'il n'est par ailleurs absolument pas intégré en Suisse, dans la mesure où il n'y a achevé aucune formation et n'exerce semble-t-il d'autres activités lucratives que celles qui ont conduit à son incarcération. Il émarge enfin à l'assistance publique depuis des années et le dossier ne fait état d'aucune perspective d'avenir professionnel. De langue française, il ne devrait, au surplus, pas avoir de difficulté à se réintégrer dans son pays d'origine.
4.2.3 En conséquence, la pesée des intérêts réalisée par le Tribunal cantonal en application de l'art. 96 al. 1 LEtr se révèle exacte tant au vu des éléments pris en compte que dans son résultat.
5. Au vu de ce qui précède, le recours doit être rejeté.
L'assistance judiciaire requise doit être refusée dans la mesure où le recours était dénué de chances de succès (<ref-law>). Succombant, le recourant supportera les frais judiciaires. Eu égard à sa situation financière, ceux-ci seront restreints (<ref-law>). Il n'est pas alloué de dépens.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. La requête d'assistance judiciaire est rejetée.
3. Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué au mandataire du recourant, au Service des migrations, au Département de l'économie et à la Cour de droit public du Tribunal administratif du canton de Neuchâtel, ainsi qu'à l'Office fédéral des migrations.
Lausanne, le 11 octobre 2010
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Zünd Addy