Faits:
A. X._, ressortissant roumain né en 1988, est entré en Suisse le 4 janvier 2002 au titre du regroupement familial avec sa mère titulaire d'une autorisation de séjour. Mis au bénéfice d'une autorisation de séjour le 20 septembre 2002, le prénommé s'est ensuite vu délivrer une autorisation d'établissement le 24 avril 2006.
X._ a fait l'objet des condamnations suivantes:
- Le 15 septembre 2008, le Juge d'instruction de Lausanne l'a condamné à une peine pécuniaire de 20 jours-amende, assortie du sursis et d'un délai d'épreuve de deux ans, ainsi qu'à une amende de 300 fr., pour lésions corporelles simples et voies de fait (infractions commises les 25 février et 24 octobre 2007).
- Le 17 janvier 2011, le Tribunal correctionnel de l'arrondissement de Lausanne, prononçant une peine d'ensemble avec celle du 15 septembre 2008, l'a condamné à une peine privative de liberté de trois ans et six mois (sous déduction de 363 jours de détention préventive) et a révoqué le sursis accordé le 15 septembre 2008, pour infraction grave et contravention à la loi fédérale du 3 octobre 1951 sur les stupéfiants et les substances psychotropes (LStup; RS 812.121), infractions commises du 1er février 2009 au 20 janvier 2010.
Il ressort du jugement du 17 janvier 2011 que les faits pour lesquels X._ a été condamné portent sur la vente de 2,5 kg d'héroïne, le conditionnement d'un kg d'héroïne, ainsi que le transfert de 1,1 kg d'héroïne. Le bénéfice réalisé par le prénommé, chiffré tant bien que mal par ce dernier, a avoisiné les 50'000 fr. Il est par ailleurs indiqué qu'il a consommé une trentaine de boulettes de cocaïne entre février 2009 et le 20 janvier 2010, environ 630 gr. d'héroïne entre la mi-juillet et début décembre 2009 et environ 260 gr. d'héroïne entre novembre 2009 et le 20 janvier 2010. Le Tribunal correctionnel a retenu les circonstances aggravantes de la quantité, de la bande et du métier. Cet arrêt retient pour le reste ce qui suit (p. 14):
"X._ a été soumis à une expertise psychiatrique confiée au Dr [...] qui a rendu un rapport du 23 juillet 2010 [...]. Le diagnostic est celui de trouble de personnalité dyssociale, de troubles mentaux et du comportement liés à l'utilisation d'opiacés, ainsi qu'à celle de cocaïne et de dérivés du cannabis, utilisation nocive pour la santé; il y a aussi le syndrome de dépendance, actuellement abstinent dans un environnement protégé. Dans les questions, on voit que nonobstant ce trouble sévère dans la santé psychique, la responsabilité est entière. Le risque de récidive est donné, et même élevé."
La culpabilité de X._ a été qualifiée de lourde, dans la mesure où ce délinquant, pourtant jeune, avait développé un trafic très efficace en très peu de temps, avec des quantités très élevées. C'étaient ainsi d'innombrables doses d'héroïne de mauvaise qualité qui avaient été mises sur le marché par un prévenu sans doute toxicomane, mais pleinement responsable de ses actes et qui avait agi par appât du gain autant que pour satisfaire son vice. A sa décharge, le Tribunal a retenu son immaturité, sa bonne collaboration et sa toxicomanie, même s'il ne s'agissait pas du seul moteur de l'activité délictueuse.
B. Le 8 juillet 2011, le Service de la population du canton de Vaud a informé X._ qu'eu égard à ses condamnations pénales, il entendait proposer au Département cantonal compétent de révoquer son autorisation d'établissement et de lui impartir un délai pour quitter la Suisse dès qu'il aurait satisfait à la justice, l'Office fédéral des migrations étant de son côté amené à prendre à son encontre une mesure d'interdiction d'entrée en Suisse. Le 22 novembre 2011, X._ a affirmé au Service de la population qu'il avait honte de son comportement, dont il avait mis du temps à comprendre la portée. Relevant avoir débuté diverses formations en prison en vue de se réinsérer socialement, il a en outre signalé avoir déposé une demande pour intégrer la fondation "Le Relais", à Morges, institution oeuvrant pour l'insertion sociale et professionnelle de jeunes adultes en difficulté.
Par décision du 13 décembre 2011, le Département de l'intérieur du canton de Vaud a révoqué l'autorisation d'établissement de X._ et lui a enjoint de quitter la Suisse sans délai dès qu'il aurait satisfait à la justice.
Contre cette décision, X._ a recouru le 26 janvier 2012 à la Cour de droit administratif et public du Tribunal cantonal (ci-après: le Tribunal cantonal), qui l'a débouté par arrêt du 14 mars 2012.
C. X._ forme un "recours de droit public" auprès du Tribunal fédéral contre le jugement du Tribunal cantonal du 14 mars 2012. Outre l'effet suspensif et l'octroi de l'assistance judiciaire, il requiert principalement l'annulation de l'arrêt entrepris, le maintien voire la prolongation du permis d'établissement et le renvoi du dossier à l'instance précédente, afin qu'elle statue à nouveau sur le sort des frais et dépens de la procédure accomplie devant elle. A titre subsidiaire, il requiert le renvoi de la cause au Tribunal cantonal après annulation, "pour qu'il invite le service vaudois de la population à établir un permis de séjour en sa faveur et qu'il statue à nouveau sur le sort des frais et dépens de la procédure accomplie devant lui".
Le Tribunal cantonal et le Service de la population renoncent à se déterminer sur le recours, alors que l'Office fédéral des migrations conclut à son rejet.
Le 1er mai 2012, le Président de la IIème Cour de droit public a accordé l'effet suspensif.

Considérant en droit:
1. 1.1 Selon l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit. Il est en revanche recevable contre les décisions révoquant une autorisation d'établissement, parce qu'il existe en principe un droit au maintien d'une telle autorisation (<ref-ruling> consid. 1.2.1 p. 4), ce qui est le cas en l'espèce. Le recourant étant de nationalité roumaine, il peut au surplus se prévaloir de l'Accord du 21 juin 1999 entre la Confédération suisse, d'une part, et la Communauté européenne et ses États membres, d'autre part, sur la libre circulation des personnes (ALCP; RS 0.142.112.681). Ce traité confère en principe aux ressortissants des Etats membres de l'Union européenne et de la Suisse le droit d'entrer sur le territoire d'une autre partie contractante (art. 1 let. a et art. 3 ALCP), ainsi que le droit de séjourner et d'accéder à la vie économique, sous réserve des dispositions de l'<ref-law> et conformément aux dispositions de l'annexe I ALCP (art. 1 let. a et art. 4 ALCP). Par conséquent, le présent recours est recevable sous l'angle de l'art. 83 let. c ch. 2 LTF.
1.2 Les autres conditions de recevabilité étant réunies, il y a lieu d'entrer en matière.
2. 2.1 Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral et du droit international (cf. art. 95 let. a et b ainsi que <ref-law>), alors qu'il n'examine la violation de droits fondamentaux que si ce grief a été invoqué et motivé par le recourant conformément au principe de l'allégation (<ref-law>). Il procède de la sorte en se basant sur les faits établis par l'autorité précédente (<ref-law>), sauf si ceux-ci ont été retenus de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire: <ref-ruling> consid. 4.3 p. 63 - ou en violation du droit au sens de l'<ref-law> (<ref-law>) et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>). Lorsque le recourant entend s'en prendre aux faits ressortant de l'arrêt attaqué, il doit établir de manière précise la réalisation de ces conditions. A défaut, il n'est pas possible de tenir compte d'un état de fait divergent de celui qui est contenu dans l'acte attaqué (<ref-ruling> consid. 5.1 p. 356 et les arrêts cités). Par ailleurs, l'<ref-law> dispose qu'aucun fait nouveau ni preuve nouvelle ne peut être présenté, à moins de résulter de la décision de l'autorité précédente.
2.2 Tout au long de son écriture, le recourant allègue des faits qui ne ressortent pas du jugement entrepris. Il ne se plaint pourtant nulle part - en tout cas pas de manière conforme aux exigences de motivation rappelées ci-dessus - de ce que les faits auraient été établis de façon arbitraire par l'instance précédente. Conformément à l'<ref-law>, le Tribunal fédéral examinera donc l'application du droit sur la base des seuls faits retenus par le Tribunal cantonal.
3. 3.1 Selon l'art. 2 al. 2 de la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr; RS 142.20), la LEtr ne s'applique aux ressortissants des Etats membres de l'Union européenne que lorsque l'ALCP n'en dispose pas autrement ou lorsque la LEtr prévoit des dispositions plus favorables.
Il s'agit ainsi en premier lieu d'examiner si la LEtr confère au recourant une situation plus favorable que l'ALCP. Le recourant n'a certes pas directement invoqué la violation de cette loi. S'agissant toutefois de droit fédéral, le Tribunal fédéral examine d'office cette question, dès lors qu'elle se trouve en relation avec les conclusions formulées. Il en va d'autant plus ainsi que le régime conventionnel, dont la violation est invoquée, réserve expressément les solutions plus favorables du droit interne (<ref-law>).
3.2 Une autorisation d'établissement ne peut être révoquée que si l'étranger remplit l'une des conditions de l'art. 63 al. 1 LEtr. Tel est le cas, aux termes de l'art. 63 al. 1 LEtr, si les conditions visées à l'art. 62 let. a ou b LEtr sont remplies (let. a) ou si l'étranger attente de manière très grave à la sécurité et l'ordre publics en Suisse ou à l'étranger, les met en danger ou représente une menace pour la sécurité intérieure ou extérieure de la Suisse (let. b). Selon l'art. 62 let. b LEtr, l'autorité compétente peut révoquer une autorisation si l'étranger a été condamné à une peine privative de liberté de longue durée - soit dépassant un an d'emprisonnement (<ref-ruling> consid. 4.2 p. 380 s.) - ou a fait l'objet d'une mesure pénale prévue aux art. 64 ou 61 du code pénal.
En l'espèce, la condamnation à une peine privative de trois ans et demi réalise le motif de révocation énoncé par l'art. 62 let. b LEtr.
A cela s'ajoute que le recourant tombe sous le coup du motif de révocation de l'art. 63 al. 1 let. b LEtr. En effet, selon la jurisprudence, attente de manière très grave à l'ordre public ou le met en danger l'étranger dont les actes lèsent ou compromettent des biens juridiques particulièrement importants, tels que l'intégrité corporelle, physique ou sexuelle (<ref-ruling> consid. 3.3 p. 303 s.; arrêt 2C_265/2011 du 27 septembre 2011 consid. 5.3.1). La gravité qualifiée de l'atteinte peut également être réalisée en cas de violation répétée, grave et sans scrupule de la sécurité et de l'ordre publics par des comportements relevant du droit pénal et montrant que l'étranger n'a ni la volonté ni la capacité de respecter à l'avenir le droit (<ref-ruling> consid. 3.3 p. 303 s.; arrêt 2C_839/2011 du 28 février 2012 consid. 2.1).
Un trafic de drogue d'importance, comme c'est le cas en l'espèce, fonde également ce motif de révocation de l'autorisation d'établissement.
3.3 Les motifs précités sont également déterminants pour la révocation d'une autorisation d'établissement UE/AELE, dès lors que l'ALCP n'énonce pas les situations donnant lieu à la révocation d'autorisations qui sont délivrées au regard des exigences du droit interne (cf. art. 2 al. 2 LEtr, art. 5 et 23 de l'ordonnance du 22 mai 2002 sur l'introduction de la libre circulation des personnes [OLCP; RS 142.203]). L'<ref-law> complète certes le régime, dans la mesure où il précise que les droits octroyés par les dispositions de l'Accord ne peuvent être limités que par des mesures justifiées par des raisons d'ordre public, de sécurité publique et de santé publique. La jurisprudence et la pratique relatives à cette norme ont été exposées de manière complète et correcte par le Tribunal cantonal, de sorte qu'il peut être renvoyé aux considérants topiques de l'arrêt entrepris. On retiendra spécialement à ce sujet que le risque de récidive joue en ce domaine un rôle particulièrement important, même s'il est parfois possible d'en faire abstraction dans certaines situations (<ref-ruling> consid. 3.4.1 p. 183 s.). L'évaluation du risque de récidive est d'autant plus rigoureuse que le bien juridique menacé est important (<ref-ruling> consid. 4.3.2 p. 30; 130 Il 493 consid. 3.3 p. 499 s.; arrêt 2C_547/2010 du 10 décembre 2010 consid. 3).
En l'espèce, le risque de récidive est attesté par un rapport d'expertise psychiatrique et il ne saurait être nié. S'agissant de trafic de drogue, il porte au surplus sur un bien juridique important, la santé publique, et est de nature à léser un grand nombre de personnes.
3.4 La révocation de l'autorisation doit en outre être proportionnée, ce qui suppose de procéder à la pesée des intérêts en présence (cf. <ref-ruling> consid. 4.3 et 4.5; arrêt 2C_839/2011, précité, consid. 2.3). Dans le cadre de cette pesée, il y a lieu de prendre en compte notamment la durée du séjour en Suisse, l'âge d'arrivée dans ce pays, les relations sociales, familiales et professionnelles, le niveau d'intégration et les conséquences d'un renvoi. L'autorisation d'établissement d'un étranger qui réside de longue date en Suisse ne peut être révoquée qu'avec retenue. En cas d'activité pénale grave ou répétée, une telle révocation n'est toutefois pas exclue, même si l'étranger est né en Suisse où il a passé toute son existence (arrêts 2C_839/2011, précité, consid. 2.3; 2C_562/2011 du 21 novembre 2011 consid. 3.3). En cas d'actes pénaux graves et de récidive ou en cas de délinquance persistante, il existe en général un intérêt public important à mettre un terme à la présence de l'étranger en Suisse, dans la mesure où ce type de comportement porte atteinte à la sécurité et à l'ordre publics (arrêts 2C_839/2011, précité, consid. 2.3; 2C_903/2010 du 6 juin 2011 consid. 3.1 non pub. in <ref-ruling>; <ref-ruling> consid. 4.4.2 p. 190).
S'agissant plus particulièrement du trafic de stupéfiants, il est de jurisprudence constante que la protection de la collectivité publique face au développement d'un tel commerce constitue un intérêt public prépondérant, justifiant l'éloignement de Suisse d'un étranger mêlé à ce genre d'activités (arrêts 2C_242/2011 du 23 septembre 2011 consid. 3.2.1; 2C_547/2010, précité, consid. 4).
4. La décision querellée, aux considérants de laquelle il peut pour le reste être renvoyé, est ainsi conforme à la pratique du Tribunal fédéral et l'autorité précédente a procédé à une pesée des intérêts qui n'est pas critiquable au regard de l'art. 63 al. 1 en lien avec l'art. 62 let. b LEtr, ainsi que des <ref-law> et 96 LEtr. Le recourant tente en vain d'intégrer dans le débat de nouveaux éléments de fait qui, comme exposé, ne ressortent pas de l'arrêt entrepris et qui sont, partant, irrecevables. Au demeurant, il se justifie de reconnaître une importance accrue aux infractions commises et au risque de récidive avéré, en dépit des inconvénients que le renvoi en Roumanie aura pour le recourant et ce quand bien même celui-ci séjourne en Suisse depuis plusieurs années.
5. Vu ce qui précède, le recours en matière de droit public doit donc être rejeté.
Les conclusions du présent recours paraissaient d'emblée vouées à l'échec, de sorte qu'il y a lieu de rejeter la demande d'assistance judiciaire (cf. <ref-law>). Succombant, le recourant doit supporter les frais de la procédure devant le Tribunal fédéral (cf. <ref-law>), lesquels seront toutefois fixés en tenant compte de sa situation économique.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. La demande d'assistance judiciaire est rejetée.
3. Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué à la mandataire du recourant, au Service de la population, au Département de l'intérieur et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, ainsi qu'à l'Office fédéral des migrations.
Lausanne, le 28 septembre 2012
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
Le Greffier: Vianin