Faits:
A. X._, ressortissant portugais né en 1982, est arrivé en Suisse en 1991 pour y rejoindre sa mère. Il a obtenu le 21 juin 1994 une autorisation de séjour par regroupement familial, régulièrement renouvelée. Entre janvier 1998 et octobre 2001, il est retourné à plusieurs reprises au Portugal et y a vécu quelque temps. Le 20 octobre 2000, il a été mis au bénéfice d'une autorisation d'établissement.
X._ ne bénéficie d'aucune formation professionnelle et souffre de troubles psychiques. Il a fait l'objet de plusieurs condamnations pénales:
le 25 juin 2002, à 5 jours d'arrêts avec sursis pour contravention à la LStup (RS 812.121);
le 10 juillet 2002, à 45 jours d'emprisonnement avec sursis pour avoir circulé sans permis de conduire ou plaques de contrôle et sans assurance responsabilité civile, et pour contravention à l'ordonnance du 27 octobre 1976 réglant l'admission des personnes et des véhicules à la circulation routière (OAC; RS 741.51);
le 25 août 2003, à 10 jours d'emprisonnement pour dommages à la propriété et contravention à la LStup;
le 23 février 2004, à 5 mois d'emprisonnement pour vol, dommages à la propriété, mise en circulation de fausse monnaie, violation des règles de la circulation routière, vol d'usage, usage d'un cycle ou d'un cyclomoteur sans y avoir droit, avoir circulé sans permis et contravention à la LStup;
le 26 mai 2004, à 3 jours d'arrêts pour contravention à la LStup;
le 23 août 2004, à 20 jours d'emprisonnement pour vol;
le 16 décembre 2004, à 18 semaines d'emprisonnement pour lésions corporelles simples, voies de fait, injures, menaces, violation de domicile, violence ou menace contre les autorités et les fonctionnaires, incendie intentionnel et contravention à la LStup;
le 15 novembre 2006, à 14 mois d'emprisonnement et à un traitement ambulatoire en milieu carcéral, pour vol, dommages à la propriété et incendie intentionnel.
B. Par décision du 28 novembre 2007, le Service des migrations du canton de Neuchâtel (ci-après le Service des migrations) a prononcé l'expulsion de X._ du territoire suisse pour une durée indéterminée.
Le Département de l'économie du canton de Neuchâtel a rejeté le recours de l'intéressé par décision du 17 juin 2009.
Par acte du 17 août 2009, X._ a recouru contre cette décision auprès du Tribunal administratif du canton de Neuchâtel, auquel a succédé la Cour de droit public du Tribunal cantonal du canton de Neuchâtel (ci-après le Tribunal cantonal) dès le 1er janvier 2011.
Par arrêt du 28 octobre 2011, le Tribunal cantonal a partiellement admis le recours et prononcé l'expulsion de X._ pour une durée de 5 ans.
C. Par acte du 30 novembre 2011, X._ dépose un recours en matière de droit public au Tribunal fédéral. Il conclut à l'annulation de l'arrêt du Tribunal cantonal du 28 octobre 2011 et à ce que son autorisation d'établissement soit maintenue, le tout sous suite de frais et dépens. Subsidiairement, il demande que le dossier soit renvoyé à l'instance précédente pour nouvelle décision après des investigations complémentaires. Plus subsidiairement encore, il requiert qu'il soit menacé d'expulsion. II sollicite en outre l'octroi de l'effet suspensif à son recours. Il demande enfin le bénéfice de l'assistance judiciaire.
Le Service des migrations et le Département de la justice, de la sécurité et des finances du canton de Neuchâtel ont conclu au rejet du recours. Le Tribunal cantonal s'est référé aux considérants de son arrêt et a conclu au rejet du recours. L'Office fédéral des migrations propose également le rejet du recours.
Par ordonnance présidentielle du 5 décembre 2011, l'effet suspensif a été accordé au recours.

Considérant en droit:
1. Selon l'art. 126 al. 1 LEtr (RS 142.20), les demandes déposées avant l'entrée en vigueur de cette loi, le 1er janvier 2008, sont régies par l'ancien droit. En l'espèce, le litige porte sur l'expulsion de Suisse du recourant, procédure ouverte par le Service des migrations en 2007. Selon la jurisprudence du Tribunal fédéral (cf. arrêt 2C_745/2008 du 24 février 2009 consid. 1.2), l'ancien droit est applicable à toutes les procédures initiées en première instance avant l'entrée en vigueur de la LEtr, indépendamment du fait qu'elles aient été ouvertes d'office ou sur demande de l'étranger. La présente affaire est donc régie par la LSEE (RS 1 113).
2. Selon l'art. 83 let. c ch. 4 LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent l'expulsion fondée sur l'art. 121 al. 2 Cst. Le présent recours, qui est dirigé contre une expulsion prononcée en application de l'art. 10 LSEE, ne tombe par conséquent pas sous cette exception (cf. arrêt 2C_903/2010 du 6 juin 2011 consid. 1 non publié aux <ref-ruling>).
La décision d'expulsion attaquée revient par ailleurs à révoquer l'autorisation d'établissement du recourant. Elle peut donc faire l'objet d'un recours en matière de droit public, le motif d'irrecevabilité de l'art. 83 let. c ch. 2 LTF étant inapplicable dès lors qu'il existe en principe un droit au maintien d'une telle autorisation (cf. <ref-ruling> consid. 1.2.1 p. 4; arrêt 2C_222/2010 du 29 juillet 2010 consid. 2.1).
Pour le surplus, l'arrêt attaqué est une décision finale (<ref-law>), rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF). Déposé en temps utile (<ref-law>) et dans les formes requises (<ref-law>) par le destinataire de l'arrêt attaqué qui a qualité pour recourir au sens de l'<ref-law>, le recours est par conséquent recevable.
3. Le recourant fait grief à l'instance cantonale d'avoir constaté les faits pertinents de manière inexacte et incomplète au sens de l'<ref-law> et de ne pas avoir tenu compte de l'évolution de sa situation personnelle depuis sa sortie de prison fin 2007 jusqu'à la date de son jugement ni du fait qu'il est au bénéfice d'une rente d'invalidité, ce qui justifierait l'application de l'ALCP (RS 0.142.112.681) à son égard.
3.1 Le Tribunal fédéral se fonde sur les faits constatés par l'autorité précédente (cf. <ref-law>), à moins que ces faits n'aient été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (cf. <ref-law>). La notion de "manifestement inexacte" de l'<ref-law> correspond à celle d'arbitraire au sens de l'art. 9 Cst. (cf. <ref-ruling> consid. 2.4). D'une manière générale, la correction du vice doit être susceptible d'influer sur le sort de la cause (cf. <ref-law>). Il appartient à la partie recourante qui entend s'écarter des constatations de l'autorité précédente d'expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> seraient réalisées. A ce défaut, un état de fait divergent de celui de la décision attaquée ne peut être pris en compte (cf. <ref-ruling> consid. 1.4 et 6.2 p. 287 s.). En présence d'un état de fait manifestement inexact ou lacunaire, le Tribunal fédéral peut compléter ou rectifier d'office l'état de fait (cf. <ref-law>). Toutefois, comme il est un juge du droit et non du fait, le complément ou la rectification des faits n'intervient que si le fait peut être déduit sans aucun doute possible des pièces du dossier. S'il apparaît qu'il faut compléter l'administration des preuves ou qu'il faut pour la première fois apprécier les preuves réunies, l'affaire devra être renvoyée à l'autorité précédente ou à l'autorité de première instance, conformément à l'<ref-law> (cf. <ref-ruling> consid. 3.4.2 p. 295 s.; arrêt 2C_98/2009 du 10 juin 2009 consid. 2.1).
3.2 Pour rendre son arrêt du 28 octobre 2011, le Tribunal cantonal s'est fondé sur l'état de fait retenu dans les décisions du Service des migrations du 28 novembre 2007 et du Département de l'économie du canton de Neuchâtel du 17 juin 2009. Afin d'établir si les juges cantonaux devaient procéder à une instruction complémentaire et établir un état de fait plus récent, il y a lieu d'examiner si ces faits pouvaient être pertinents pour décider du bien-fondé de l'expulsion prononcée à l'encontre du recourant.
3.2.1 L'art. 10 al. 1 LSEE prévoit qu'un étranger peut être expulsé de Suisse ou d'un canton, en particulier, s'il a été condamné par une autorité judiciaire pour crime ou délit (let. a), si sa conduite, dans son ensemble, et ses actes permettent de conclure qu'il ne veut pas s'adapter à l'ordre établi dans le pays qui lui offre l'hospitalité ou qu'il n'en est pas capable (let. b), ou s'il tombe d'une manière continue et dans une large mesure à la charge de l'assistance publique (let. d). L'expulsion ne sera cependant prononcée que si elle paraît appropriée à l'ensemble des circonstances (cf. art. 11 al. 3 LSEE). Pour apprécier ce qui est équitable, l'autorité tiendra notamment compte de la gravité de la faute commise par l'étranger, de la durée de son séjour en Suisse et du préjudice qu'il aurait à subir avec sa famille du fait de l'expulsion (cf. art. 16 al. 3 du règlement d'exécution de la LSEE du 1er mars 1949 [RSEE; RS 142.201]).
L'expulsion suppose ainsi une pesée des intérêts en présence, ainsi que l'examen de la proportionnalité de la mesure (cf. <ref-ruling>10 consid. 2.1 p. 112). Lorsque le motif d'expulsion consiste dans la commission d'un délit ou d'un crime, la peine infligée par le juge pénal est le premier critère servant à évaluer la gravité de la faute et à peser les intérêts (cf. <ref-ruling> consid. 4.2 p. 23). La durée de présence en Suisse d'un étranger constitue un autre critère important. Plus cette durée est longue, plus les conditions pour prononcer l'expulsion administrative doivent être appréciées restrictivement (cf. arrêt 2C_903/2010 du 6 juin 2011 consid. 3.1 non publié aux <ref-ruling>). C'est la proportionnalité de la mesure dans le cas particulier qui est déterminante. Elle s'apprécie en prenant en considération l'ensemble des circonstances pertinentes (cf. <ref-ruling>10 consid. 2.1 p. 112).
3.2.2 Dans le cas particulier, le Tribunal cantonal a retenu que le recourant avait été condamné à 8 reprises durant un laps de temps de 4 ans pour des peines dont la durée cumulée dépassait 25 mois. Les juges cantonaux ont en outre relevé que, selon le rapport du Service de probation du 22 décembre 2008, les différents troubles dont souffrait le recourant, associés à un comportement polytoxicomane, représentaient un potentiel délinquant important.
L'expulsion en application de l'art. 10 LSEE est justifiée au vu des actes pour lesquels le recourant a été condamné. En revanche, force est de constater qu'au moment d'évaluer la proportionnalité de l'expulsion, le Tribunal cantonal a retenu que le recourant montrait un potentiel délinquant important, ce qui justifiait son expulsion, en se fondant sur des rapports datant du 22 décembre 2008 pour celui du Service de probation et du 13 août 2009 pour celui du Centre d'Aide, de Prévention et de traitement de la Toxicomanie (ci-après le CAPTT). Or, dans leur rapport, les collaborateurs compétents du Service de probation déclaraient à l'époque que "nous avons pu mesurer que le cadre dans lequel vit désormais l'intéressé lui a permis de réaliser une progression importante". De même, le directeur du CAPTT relevait que le recourant s'impliquait dans son traitement et que les mises au point avaient pu être acceptées de façon constructive. Au vu de ces éléments, s'agissant d'une personne souffrant de troubles psychiques, il était nécessaire d'examiner l'évolution de l'intéressé et la permanence des progrès signalés. Cet examen était d'autant plus indispensable qu'au moment où l'arrêt a été rendu, à savoir le 28 octobre 2011, plus de deux ans s'étaient écoulés depuis le dernier rapport. Or, la juridiction cantonale a négligé de procéder à cet examen. Ainsi, outre le fait que l'instance précédente a mis plus de deux ans à rendre son arrêt alors que la procédure probatoire était close, ce qui s'avère à la limite du déni de justice (cf. arrêts 2C_454/2011 du 24 novembre 2011 consid. 2.5; 8C_176/2011 du 20 avril 2011 consid. 3; 9C_831/2008 du 12 décembre 2008 consid. 2.1 et 2.2), il faut relever que, dans une affaire où l'actualité des faits est déterminante pour effectuer un pronostic relatif au comportement futur de l'intéressé, il n'est pas admissible qu'une instance cantonale censée apprécier librement les faits rende un arrêt fondé sur des faits et des rapports vieux de plus de deux ans.
3.2.3 L'arrêt attaqué ne comporte ainsi pas les éléments de fait suffisants pour que le Tribunal fédéral puisse vérifier, sous l'angle de la proportionnalité, si la mesure d'expulsion s'avère justifiée compte tenu de la situation actuelle du recourant. Partant, il y a lieu d'admettre le recours sur ce point et de renvoyer la cause au Tribunal cantonal conformément à l'<ref-law> pour qu'il rende une nouvelle décision après avoir procédé à une instruction complémentaire.
3.3 Le recourant reproche également au Tribunal cantonal d'avoir omis de tenir compte du fait qu'il s'est vu octroyer, le 19 janvier 2010, une rente entière d'invalidité avec effet rétroactif au 1er août 2006 et d'avoir ainsi considéré faussement qu'il ne pouvait se prévaloir de l'ALCP. Il admet toutefois également percevoir des prestations complémentaires.
3.3.1 Le champ d'application personnel et temporel de l'ALCP ne dépend pas du moment auquel un ressortissant communautaire est arrivé en Suisse, mais seulement de l'existence d'un droit de séjour garanti par l'accord au moment déterminant, soit lorsque le droit litigieux est exercé. Autrement dit, les ressortissants communautaires résidant déjà en Suisse lors de son entrée en vigueur peuvent se prévaloir de l'accord dès qu'ils relèvent de l'une ou l'autre des situations de libre circulation prévues à cet effet et qu'ils remplissent les conditions afférentes à leur statut (cf. <ref-ruling> consid. 2 p. 13).
Le recourant, qui résidait en Suisse le 1er juin 2002, date de l'entrée en vigueur de l'ALCP, peut en principe se prévaloir des dispositions de cet accord compte tenu de sa nationalité portugaise.
3.3.2 En vertu des <ref-law> et 2 Annexe I ALCP, le droit de séjour et d'accès à une activité économique est garanti aux ressortissants des États signataires. Selon les art. 7 let. c ALCP et 4 al. 1 Annexe I ALCP, les ressortissants d'une partie contractante ont en outre le droit de demeurer sur le territoire d'une autre partie contractante après la fin de leur activité économique. L'<ref-law> précise que, conformément à l'art. 16 de l'ALCP, il est fait référence au règlement (CEE) 1251/70 et à la directive 75/34/CEE, tels qu'en vigueur à la date de la signature de l'ALCP. L'art. 2 § 1 let. b du règlement 1251/70 prévoit qu'a le droit de demeurer sur le territoire d'un État membre:
"le travailleur qui, résidant d'une façon continue sur le territoire de cet État depuis plus de deux ans, cesse d'y occuper un emploi salarié à la suite d'une incapacité de travail. Si cette incapacité résulte d'un accident du travail ou d'une maladie professionnelle ouvrant droit à une rente entièrement ou partiellement à charge d'une institution de cet État, aucune condition de durée de résidence n'est requise."
En l'espèce, l'état de fait établi par le Tribunal cantonal retient que le recourant ne bénéficie d'aucune formation professionnelle et est à la charge des services sociaux depuis de nombreuses années. Hormis des activités d'occupation dans un atelier protégé, il n'a pas exercé d'activité lucrative. Dans ces conditions, on ne saurait lui appliquer ni l'art. 4 ni l'<ref-law>. Il ne s'en prévaut d'ailleurs pas.
3.3.3 L'ALCP a aussi pour objectif d'accorder un droit d'entrée et de séjour aux personnes sans activité économique dans le pays d'accueil (cf. <ref-law>). A cet effet, l'<ref-law> prévoit que les ressortissants des parties contractantes n'exerçant pas d'activité économique dans l'État d'accueil et qui ne bénéficient pas d'un droit de séjour en vertu d'autres dispositions de l'accord ont, pour autant qu'ils remplissent les conditions préalables requises dans le chapitre V, un droit de séjour. Faisant partie du chapitre V, l'<ref-law> prévoit qu'une personne ressortissante d'une partie contractante n'exerçant pas d'activité économique dans l'État de résidence et qui ne bénéficie pas d'un droit de séjour en vertu d'autres dispositions de l'accord reçoit un titre de séjour d'une durée de cinq ans au moins, à condition qu'elle prouve aux autorités nationales compétentes qu'elle dispose pour elle-même et les membres de sa famille: a) de moyens financiers suffisants pour ne [pas] devoir faire appel à l'aide sociale pendant son séjour; b) d'une assurance-maladie couvrant l'ensemble des risques. L'<ref-law> définit comme suffisants les moyens financiers qui dépassent le montant en dessous duquel les nationaux, eu égard à leur situation personnelle et, le cas échéant, à celle des membres de leur famille, peuvent prétendre à des prestations d'assistance. Lorsque cette condition ne peut s'appliquer, les moyens financiers du demandeur sont considérés comme suffisants lorsqu'ils sont supérieurs au niveau de la pension minimale de sécurité sociale versée par l'État d'accueil (cf. <ref-law> 2ème phrase).
L'art. 16 de l'ordonnance fédérale du 22 mai 2002 sur l'introduction progressive de la libre circulation des personnes entre, d'une part, la Confédération suisse et, d'autre part, la Communauté européenne et ses États membres, ainsi qu'entre les États membres de l'Association européenne de libre-échange (OLCP; RS 142.203) concrétise les dispositions de l'art. 24 al. 1 et 2 Annexe I ALCP. Selon l'<ref-law>, les moyens financiers sont réputés suffisants s'ils dépassent les prestations d'assistance qui seraient allouées en vertu des directives "Aide sociale: concepts et normes de calcul" de la Conférence suisse des institutions d'action sociale (CSIAS), à un ressortissant suisse, à la demande de l'intéressé et compte tenu de sa situation personnelle. Pour les rentiers, l'<ref-law> précise que tel est le cas si les moyens financiers dépassent le montant donnant droit à un ressortissant suisse qui en fait la demande à des prestations complémentaires au sens de la LPC (RS 831.30).
Selon la jurisprudence du Tribunal fédéral, une rente d'invalidité ne constitue pas une aide sociale au sens de l'art. <ref-law> (cf. arrêts 2C_222/2010 du 29 juillet 2010 consid. 6.2.2 et 2C_625/2007 du 2 avril 2008 consid. 6). Les rentes et les prestations d'autres assurances sociales sont ainsi prises en compte pour le calcul des moyens financiers suffisants (cf. Directives de l'Office fédéral des migrations "Séjour pour non-actifs", www.bfm.admin.ch, rubrique Thèmes - Libre circulation - FAQ - Séjour sans activité lucrative [consulté le 22 mars 2012]; LAURENT MERZ, Le droit de séjour selon l'ALCP et la jurisprudence du Tribunal fédéral, in RDAF 65/2009, p. 277). Il en va en revanche différemment des prestations complémentaires au sens de la LPC pour lesquelles le Tribunal fédéral a retenu que l'étranger qui en bénéficie ne dispose pas de moyens financiers suffisants au sens de l'<ref-law> (cf. <ref-ruling> consid. 3.7 p. 272 s.).
3.3.4 Le recourant entend se prévaloir de la jurisprudence du Tribunal administratif fédéral selon laquelle l'<ref-law> reprend et précise l'idée directrice de l'art. 24 al. 1 1ère phrase Annexe I ALCP, alors que tel ne serait pas le cas de l'<ref-law>. Aux termes de cette jurisprudence, le bénéficiaire d'une rente d'invalidité supérieure à la rente entière minimale disposerait d'un droit de séjour fondé sur l'<ref-law>, même s'il touche également des prestations complémentaires (cf. ATAF C-4854/2009 du 3 décembre 2010 consid. 6.2 et C-25/2006 du 10 mars 2009 consid. 6.1.2).
Cette jurisprudence du Tribunal administratif fédéral n'est pas conforme à celle du Tribunal fédéral. Ainsi que la Cour de céans l'a démontré dans l'<ref-ruling>, les prestations complémentaires doivent en effet être prises en compte pour savoir si l'étranger perçoit de l'aide sociale au sens de l'art. 24 al. 1 let. a Annexe I ALCP, lorsque de telles prestations complémentaires sont effectivement perçues (cf. <ref-ruling> consid. 3.7 p. 272 s.), ce qui correspond du reste au texte de l'<ref-law>. Par conséquent, l'étranger au bénéfice de prestations complémentaires vit partiellement de l'aide sociale au sens de l'<ref-law> (cf. arrêt 2C_222/2010 du 29 juillet 2010 consid. 6.2.2).
3.3.5 En l'espèce, dès lors que le recourant allègue bénéficier de prestations complémentaires versées en sus d'une rente entière d'invalidité, il ne peut pas se prévaloir d'un droit de séjour en application de l'<ref-law>. Le grief portant sur le refus d'appliquer l'ALCP est par conséquent infondé.
4. S'agissant de son premier grief, le recourant obtient gain de cause, ce qui revient à donner entièrement suite à ses conclusions subsidiaires en renvoi. Partant, le recours doit être admis, l'arrêt attaqué annulé et l'affaire renvoyée au Tribunal cantonal pour nouvelle instruction et nouveau jugement dans le sens des considérants (cf. <ref-law>).
Compte tenu de l'issue du recours, le présent arrêt doit être rendu sans frais (cf. <ref-law>). Il appartiendra en revanche au canton de Neuchâtel de verser au recourant une indemnité à titre de dépens pour la procédure devant le Tribunal fédéral (cf. <ref-law>).
Dans ces conditions, la demande d'assistance judiciaire présentée par le recourant devient sans objet.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis. L'arrêt du 28 octobre 2011 est annulé, l'affaire étant renvoyée au Tribunal cantonal pour nouvelle instruction et nouveau jugement dans le sens des considérants.
2. Il n'est pas perçu de frais judiciaires.
3. Le canton de Neuchâtel versera au recourant une indemnité de CHF 2'000.- à titre de dépens.
4. Le présent arrêt est communiqué au mandataire du recourant, au Service des migrations, au Département de l'économie et au Tribunal cantonal de la République et canton de Neuchâtel, ainsi qu'à l'Office fédéral des migrations.
Lausanne, le 2 avril 2012
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
La Greffière: Beti