Faits:
A. A.a Par jugement du 5 avril 2007, confirmé ultérieurement par la Cour de cassation pénale du Tribunal cantonal vaudois, le Tribunal criminel de l'arrondissement de Lausanne a condamné X._ à une peine de seize ans de réclusion, pour le meurtre d'une femme commis au cours d'un rapport sexuel rémunéré.
En sus de cette condamnation, son casier judiciaire comporte deux inscriptions, soit 500 fr. d'amende infligée le 26 juin 1998, pour violation des règles de la circulation, violence ou menace contre les autorités ou les fonctionnaires, et deux mois d'emprisonnement ainsi que 400 fr. d'amende prononcés le 9 mars 2001, pour des infractions à la LCR.
A.b Dans le cadre de la cause ayant conduit au jugement précité, X._ a été soumis à une expertise psychiatrique. Les médecins ont posé le diagnostic de trouble de la personnalité à traits schizoïdes et paranoïaques, doublé d'utilisation d'alcool nocive pour la santé. Les caractéristiques schizoïdes se manifestent par un mode général de détachement par rapport aux relations sociales et de restriction de la variété des expressions émotionnelles dans les rapports avec autrui. Ainsi, l'expertisé ne cherche, ni n'apprécie les relations proches y compris les relations intrafamiliales, n'a pas d'amis proches ou de confidents et choisit presque toujours des activités solitaires. Quant aux traits paranoïaques, ils se caractérisent par une méfiance soupçonneuse et envahissante envers les autres dont les intentions sont interprétées comme malveillantes.
Les experts ont estimé que le risque de récidive restait présent dans des circonstances similaires. Ils ont précisé qu'il n'existait pas de traitement approprié à l'heure actuelle pour de tels troubles, hormis une psychothérapie de longue haleine qui n'aurait de chance de succès que dans la mesure où l'intéressé en manifesterait la demande, ce qu'il n'avait encore jamais fait.
B. B.a X._, détenu préventivement à la prison du Bois-Mermet, a été transféré après son jugement, le 13 novembre 2007, aux Etablissements de la plaine de l'Orbe (EPO).
Le 20 décembre 2007, il a contesté ce transfert et requis son intégration aux pénitenciers de Bellechasse, de Witzwil ou éventuellement de Crêtelongue, faisant valoir qu'il était un condamné primaire. Le 22 janvier 2008, les EPO ont préavisé négativement à cette demande.
B.b Par décision du 22 février 2008, l'Office d'exécution des peines a rejeté la requête de X._ en se référant au préavis précité. Il a estimé que les motifs invoqués ne justifiaient pas un transfert dans un autre établissement et que les dispositions concordataires ne consacraient pas de droit au détenu à être placé dans tel ou tel établissement pénitentiaire.
Par arrêt du 24 avril 2008, le Juge d'application des peines du canton de Vaud a rejeté le recours du condamné.
C. X._ dépose un recours en matière pénale au Tribunal fédéral. Invoquant l'arbitraire et une violation des art. 37 aCP et 12 de l'ancien Concordat sur l'exécution des peines et des mesures concernant les adultes et les jeunes adultes dans les cantons romands et du Tessin (C-EPMRT), il conclut, principalement, à l'annulation de l'arrêt cantonal et au renvoi de la cause pour nouvelle décision et, subsidiairement, à sa réforme en ce sens qu'il est transféré immédiatement dans un établissement réservé aux délinquants primaires. Il requiert également l'assistance judiciaire.

Considérant en droit:
1. 1.1 L'arrêt attaqué a été rendu dans le domaine de l'exécution des peines (<ref-law>), par une autorité cantonale de dernière instance (<ref-law>). Il peut donc faire l'objet d'un recours en matière pénale (<ref-law>), que le recourant est manifestement habilité à former (art. 81 al. 1 let. a et b LTF).
1.2 Le recours ordinaire au Tribunal fédéral peut notamment être formé pour violation du droit fédéral (<ref-law>), qui inclut les droits constitutionnels, et pour violation du droit intercantonal (art. 95 let. e LTF).
2. Se prévalant des art. 37 aCP, 377 CP, 12 C-EPMRT et 35 du Concordat latin sur la détention pénale des adultes du 10 avril 2006, le recourant demande à être placé dans un établissement destiné aux condamnés primaires.
2. Se prévalant des art. 37 aCP, 377 CP, 12 C-EPMRT et 35 du Concordat latin sur la détention pénale des adultes du 10 avril 2006, le recourant demande à être placé dans un établissement destiné aux condamnés primaires.
2.1 2.1.1 Selon l'art. 37 ch. 2 al. 2 aCP, le condamné qui, dans les cinq ans qui ont précédé l'infraction, n'a subi ni réclusion, ni emprisonnement pour une durée supérieure à trois mois, et n'a encore jamais été interné conformément aux art. 42 ou 91 ch. 2 aCP, sera placé dans un établissement pour condamnés primaires. Il pourra être placé dans un autre établissement pour des raisons particulières, notamment s'il est dangereux, gravement suspect de vouloir s'évader ou d'inciter autrui à commettre des actes punissables.
D'après l'art. 12 al. 1 C-EPMRT, les cantons romands disposent ou disposeront, pour l'exécution des peines et mesures prononcées à l'égard des hommes, des établissements suivants: pour les détenus primaires: les Etablissements de Bellechasse et la Colonie pénitentiaire de Crêtelongue. A titre exceptionnel et pour de justes motifs, des délinquants primaires peuvent être placés dans un établissement pour détenus récidivistes (chif. 1); pour les détenus récidivistes: les Etablissements de la plaine de l'Orbe. A titre exceptionnel et pour de justes motifs, des délinquants récidivistes peuvent être placés dans un établissement pour détenus primaires (chif. 2).
2.1.2 Conformément au prescrit du nouvel <ref-law>, les peines privatives de liberté sont désormais exécutées dans un établissement fermé ou ouvert (al. 1), les risques de fuite et de récidive étant les critères qui déterminent le choix du placement dans un établissement fermé ou la section fermée d'un établissement ouvert (al. 2).
Aux termes de l'<ref-law>, les cantons créent et exploitent les établissements et les sections d'établissements nécessaires à l'exécution des peines en milieu ouvert et fermé et à l'accueil des détenus en semi-détention ou travaillant à l'extérieur (al. 1). Ils peuvent également aménager des sections distinctes pour certains groupes de détenus, comme les femmes, les détenus de classes d'âge déterminées, ceux qui subissent de très longues ou de très courtes peines, qui exigent une prise en charge ou un traitement particuliers ou qui reçoivent une formation ou un perfectionnement (al. 2).
Se référant à l'art. 4 let. k du Concordat latin sur la détention pénale des adultes du 10 avril 2006, la Conférence romande des autorités cantonales compétentes en matière pénitentiaire a établi une Recommandation du 27 octobre 2006 concernant la liste des établissements pour l'exécution des sanctions pénales privatives de liberté ou à titre anticipé. Selon cette Recommandation, les cantons partenaires mettent à disposition, notamment pour l'exécution des sanctions pénales, des établissements fermés ou ouverts pouvant disposer aussi d'une ou plusieurs sections ouvertes ou fermées (art. 1 al. 1). Les établissements sont conçus et organisés en fonction de l'importance du risque d'évasion et de réitération que représente la personne qui y est placée pour y exécuter sa détention. Cette évaluation est faite en fonction des circonstances - notamment durée de la détention, infractions et conditions dans lesquelles elles ont été commises, conditions personnelles de la personne détenue, liens avec la Suisse et statut administratif - (art. 1 al. 3). Pour le reste, les cantons partenaires n'aménagent pas d'autres sections distinctes en fonction de groupes de détenus particuliers.
2.1.3 L'<ref-law> prévoit que les dispositions du nouveau droit relatives au régime d'exécution des peines et des mesures et des droits et obligations du détenu s'appliquent aussi aux auteurs condamnés en vertu de l'ancien droit. Le ch. 1 al. 3 des dispositions finales de la modification du 13 décembre 2002 précise également que les nouveaux art. 74 à 85, 91 et 92 CP s'appliquent aux auteurs condamnés en vertu de l'ancien droit. En effet, l'application simultanée de deux régimes pénitentiaires différents, l'un pour les détenus condamnés en application de l'ancien droit et l'autre pour les détenus condamnés en vertu du nouveau droit, n'est techniquement guère possible et constitue une charge excessive pour les cantons (Message concernant la modification du code pénal suisse et du code pénal militaire ainsi qu'une loi fédérale régissant la condition pénale des mineurs p. 205).
Selon l'art. 35 al. 1 du Concordat latin sur la détention pénale des adultes du 10 avril 2006, entré en vigueur le 1er novembre 2007, l'exécution des peines privatives de liberté et des mesures en cours au moment de l'entrée en vigueur est régie par le présent concordat, sauf si l'ancien droit est plus favorable à la personne détenue.
Selon l'art. 35 al. 1 du Concordat latin sur la détention pénale des adultes du 10 avril 2006, entré en vigueur le 1er novembre 2007, l'exécution des peines privatives de liberté et des mesures en cours au moment de l'entrée en vigueur est régie par le présent concordat, sauf si l'ancien droit est plus favorable à la personne détenue.
2.2 2.2.1 Il résulte des dispositions précitées que la nouvelle partie générale du CP, entrée en vigueur le 1er janvier 2007, a abandonné la distinction antérieure entre établissements pour délinquants primaires et récidivistes. Elle oblige désormais les cantons à créer et exploiter les établissements et sections nécessaires à l'exécution des peines en milieu ouvert et fermé. Ces nouvelles formes d'exécution valent d'ailleurs également pour les auteurs condamnés en vertu de l'ancien droit (cf. supra consid. 2.1). Dès lors, même sous l'angle de dispositions transitoires, le droit concordataire ne peut, sous peine de violer le droit fédéral (art. 76 al. 1, 377 al. 1 et 388 al. 3 CP), créer des situations dérogeant au principe posé par le nouveau CP. Ainsi, il ne peut aménager, à la place des établissements nécessaires à l'exécution des peines en milieu ouvert ou fermé, des établissements pour délinquants primaires ou récidivistes, cette dernière distinction n'étant plus conforme aux principes du droit fédéral.
2.2.2 En revanche, à l'intérieur des établissements fermés ou ouverts, les cantons restent libres d'aménager des sections distinctes pour certains groupes de détenus, comme par exemple les femmes, les condamnés qui appartiennent à des classes d'âge particulières, qui subissent de très longues ou de très courtes peines, qui exigent une prise en charge ou un traitement particuliers ou qui reçoivent une formation ou un perfectionnement (<ref-law>; cf. supra consid. 2.1.2). Cette dernière liste n'est pas exhaustive, de sorte que les cantons conservent une certaine autonomie dans l'organisation des sections à l'intérieur de leurs établissements fermés ou ouverts. En l'occurrence, le Concordat latin sur la détention pénale des adultes du 10 avril 2006 et la Recommandation y relative ne prévoient toutefois aucune de ces distinctions.
2.2.3 Sur le vu de ce qui précède, le recourant ne peut donc demander à être placé dans un établissement pour délinquants primaires, le droit fédéral et le droit intercantonal excluant cette possibilité.
3. En conclusion, le recours est rejeté. Comme ses conclusions étaient vouées à l'échec, l'assistance judiciaire ne peut être accordée (<ref-law>). Le recourant doit donc supporter les frais (<ref-law>), fixés en fonction de sa situation financière.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. La requête d'assistance judiciaire est rejetée.
3. Les frais judiciaires, fixés à 800 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et au Juge d'application des peines du canton de Vaud.
Lausanne, le 11 novembre 2008
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: La Greffière:
Schneider Bendani