Faits:
A. A.a Par jugement rendu le 11 juillet 2007 par le Tribunal correctionnel d'arrondissement de Lausanne, confirmé le 28 septembre 2007 par la Cour de cassation pénale du Tribunal cantonal vaudois, X._ a été condamné à une peine privative de liberté de deux ans, dont sursis à l'exécution de la peine de un an, avec délai d'épreuve de cinq ans; cette peine est complémentaire à celle prononcée le 28 novembre 2005 par le Tribunal correctionnel de l'arrondissement de Lausanne.
X._ a exécuté cette peine dès le mois de septembre 2009. L'Office vaudois d'exécution des peines (ci-après: l'OEP) en a fixé le terme au 26 septembre 2010.
A.b Par jugement du 3 juin 2010, le Tribunal correctionnel de l'arrondissement de Lausanne a condamné X._ à une peine privative de liberté d'ensemble de quatre ans et demi, comprenant sa réintégration pour un mois et vingt-neuf jours, a ordonné la révocation du sursis accordé le 28 septembre 2007 par la Cour de cassation pénale du Tribunal cantonal et a ordonné l'exécution de la peine privative de liberté d'un an. Ce jugement a été confirmé par arrêt du 6 août 2010 de la Cour de cassation pénale du Tribunal cantonal vaudois, lequel a fait l'objet d'un recours au Tribunal fédéral qui a été déclaré irrecevable par arrêt du 7 février 2011.
A.c Interpellé par l'OEP qui avait attiré son attention sur le fait qu'en l'absence d'un jugement entré en force au 26 septembre 2010, la détention de X._ ne serait plus couverte par un titre de détention, le Président de la Cour de cassation pénale du Tribunal cantonal a décerné, le 23 septembre 2010, un mandat d'arrêt à l'encontre du précité et a ordonné à la direction des Établissements de la plaine de l'Orbe son maintien en détention dans le cadre de la procédure encore pendante à cette date.
La Cour de cassation pénale a rejeté le recours formé par le condamné contre ce mandat d'arrêt par arrêt du 6 octobre 2010. Elle a rejeté, par arrêt du 15 février 2011, la demande de mise en liberté déposée par l'intéressé.
A.d Par courriers des 20 avril et 3 mai 2011 adressés à l'OEP, X._ a contesté les différentes échéances relatives à sa peine telles qu'elles avaient été calculées par cet Office et figuraient dans sa fiche d'écrou. Il a fait valoir qu'il avait débuté l'exécution de sa première peine le 24 septembre 2009. Il a additionné la durée de ses deux peines, dont le total est de 6 ans et demi, soit 78 mois, et a calculé qu'il aurait ainsi exécuté le premier tiers de cette peine - soit 26 mois - le 26 novembre 2011.
Par décision du 24 mai 2011, l'OPE a indiqué qu'il n'y avait pas lieu de cumuler, au sens de l'art. 4 de l'ordonnance du Conseil fédéral du 19 septembre 2006 relative au code pénal et au code pénal militaire (O-CP-CPM; RS 311.01), les peines découlant des jugements des 3 juin 2010 et 11 juillet 2007. Il a considéré, en substance, que la peine prononcée le 3 juin 2010 n'était pas exécutable avant l'échéance de celle prononcée le 11 juillet 2007 en raison des recours dont elle avait fait l'objet. Ce n'était qu'à la suite de l'arrêt du Tribunal fédéral du 7 février 2011 que le jugement du 3 juin 2010 était devenu exécutoire, soit après l'exécution intégrale de la peine privative de liberté prononcée le 11 juillet 2007.
Selon la fiche d'écrou établie par l'OEP, X._ a exécuté le premier tiers de sa seconde peine, d'une durée de 5 ans et demi (soit 4 ans et demi pour la seconde condamnation ainsi qu'un an en raison de la révocation du sursis à l'exécution de la première), le 26 juillet 2012, soit dix mois après la date retenue par l'intéressé. Le terme de la peine correspond en revanche au 26 mars 2016, tant selon les calculs du recourant que ceux de l'OEP.
A.e Le 1er septembre 2011, X._ a demandé à l'OEP de revoir sa décision du 24 mai 2011 au vu du prononcé rendu le 7 juillet précédent par le Juge d'application des peines vaudois dans une autre cause.
L'Office précité a rejeté cette requête le 20 septembre 2011, considérant que le condamné ne se trouvait pas en exécution de peine au sens de l'art. 4 O-CP-CPM au moment de l'entrée en force de sa seconde condamnation, mais en détention avant jugement, et qu'il n'y avait pas lieu de cumuler les peines.
X._ a formé recours auprès du Juge d'application des peines contre cette décision. Le recours a été rejeté le 11 mai 2012 et la décision du 20 septembre 2011 de l'OEP a été confirmée.
B. Saisie d'un recours interjeté par X._ contre le prononcé du 11 mai 2012, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté celui-ci par arrêt du 15 juin 2012.
C. X._ forme un recours en matière pénale au Tribunal fédéral contre cette décision. Il conclut à la réforme de l'arrêt attaqué en ce sens que le cumul, au sens des art. 4 et 5 O-CP-CPM, est admis en ce qui concerne les peines prononcées à son encontre les 11 juillet 2007 et 3 juin 2012 (recte: 2010) et à ce que sa fiche d'écrou soit modifiée en conséquence. Il sollicite en outre l'octroi de l'assistance judiciaire.

Considérant en droit:
1. Le recours en matière pénale est ouvert contre les décisions sur l'exécution des peines et mesures (<ref-law>).
2. A l'appui de ses conclusions, le recourant soutient que les conditions pour un cumul de ses peines conformément à l'ordonnance relative au code pénal et au code pénal militaire sont remplies. Les différentes échéances figurant sur sa fiche d'écrou doivent donc être calculées à partir de la date à laquelle il a commencé à exécuter sa première peine en septembre 2009.
2.1 La cour cantonale a considéré que, pour dire si deux peines devaient être cumulées, il fallait qu'elles soient matériellement exécutoires en même temps. La date déterminante était celle à laquelle l'entrée en force du jugement prononçant la seconde condamnation pouvait être déterminée, et non celle à laquelle elle entrait en force avec effet rétroactif. Il n'était pas possible, pour des raisons pratiques, de faire rétroagir l'exécution de la peine à une date antérieure à celle où il avait pu être constaté qu'elle était devenue exécutoire puisqu'à ce moment là, cette peine ne pouvait matériellement pas être mise en ?uvre. Cela valait d'autant plus lorsque, comme en l'espèce, le condamné contestait, dans ses recours successifs, la quotité de la peine infligée et concluait au prononcé d'une peine assortie du sursis.
2.2 2.2.1 Selon l'art. 4 O-CP-CPM, si, lors de l'exécution, il y a concours de plusieurs peines privatives de liberté, elles sont exécutées simultanément, conformément aux art. 76 à 79 CP, leur durée totale étant déterminante. L'art. 5 O-CP-CPM dispose par ailleurs que la date la plus proche de la libération conditionnelle d'une personne condamnée à des peines privatives de liberté d'une durée limitée et exécutables simultanément se détermine d'après la durée totale de ces peines.
Les art. 4 et 5 O-CP-CPM règlent des problèmes pratiques susceptibles de se poser lorsque plusieurs peines sont exécutées simultanément. En prévoyant que la durée totale des peines est déterminante, les art. 4 et 5 O-CP-CPM évitent ainsi, par exemple, que le condamné puisse prétendre, pour une première peine, à la semi-détention en vertu de l'<ref-law> ou à la libération conditionnelle selon l'<ref-law>, mais pas pour la seconde.
L'art. 4 O-CP-CPM préconise l'application des art. 76 à 79 CP en cas de cumul. Ceux-ci prescrivent les modalités concrètes d'exécution des peines privatives de liberté en expliquant, par exemple, dans quel type d'établissement elles sont exécutées ou dans quelles conditions. Le texte clair de l'art. 4 O-CP-CPM n'envisage pas le cas où un prévenu se trouve détenu à un titre quelconque, mais celui où il exécute des peines simultanément. Tant qu'une décision définitive n'a pas été rendue, un prévenu peut être détenu, non en vertu des art. 76 à 79 CP, mais à titre provisoire ou pour des motifs de sûreté (cf. art. 224 ss et 229 ss CPP). Une telle incarcération s'effectue selon des modalités propres (cf. art. 234 et 235 CPP). Dans l'hypothèse où une personne serait détenue concurremment, dans deux procédures distinctes, en vertu des art. 76 à 79 CP, d'une part, et à titre de détention avant jugement, d'autre part, il ne pourrait ainsi pas y avoir de cumul, les modalités pratiques de ces deux formes de détention n'étant pas identiques. Un cumul est dès lors, a fortiori, exclu lorsque cette personne est détenue, à l'instar du recourant, non pas concurremment, mais successivement, à des titres différents. Ce dernier ne peut ainsi tirer aucun argument du fait qu'il est resté détenu sans interruption, d'abord en exécution d'une première peine puis, après la fin de celle-ci, à titre de détention avant jugement dans le cadre de la seconde procédure dont il a fait l'objet.
Au surplus, en cas de concours de plusieurs peines privatives de liberté, celles-ci sont exécutées en tenant compte de leur durée totale (cf. art. 4 O-CP-CPM), laquelle est par ailleurs déterminante pour connaître la date la plus proche de la libération conditionnelle (cf. art. 5 O-CP-CPM). Cette durée totale ne peut être calculée que si la quotité des peines à cumuler est connue. Tel n'est le cas qu'après que des décisions ont été rendues dans les procédures concernées, contre lesquelles toutes les voies de recours produisant un effet suspensif ont été épuisées ou n'ont pas été utilisées dans le délai légal. Ainsi, pour ce motif également, il ne peut être procédé à un cumul qu'après que des décisions définitives, ayant force de chose jugée, ont été rendues.
2.2.2 L'<ref-law> prévoit que le recours en matière pénale au Tribunal fédéral a un effet suspensif s'il est dirigé contre une décision qui prononce une peine privative de liberté ferme et, selon l'<ref-law>, les arrêts du Tribunal fédéral acquièrent force de chose jugée le jour où ils sont prononcés, ce qui a pour conséquence qu'ils deviennent alors exécutoires (cf. Heimgartner/Wiprächtiger, in Basler Kommentar, Bundesgerichtsgesetz, 2ème éd., 2011, n. 7 ad <ref-law>). Dès lors, la condamnation du recourant à la seconde peine privative de liberté est devenue définitive le 7 février 2011, alors qu'il avait déjà fini d'exécuter sa première condamnation le 26 septembre 2010. Ces deux peines ne peuvent donc pas être cumulées. Le grief de violation des art. 4 et 5 O-CP-CPM est rejeté. Le recourant ne peut prétendre à une modification de sa fiche d'écrou.
2.3 Le recourant soutient que les deux condamnations dont il a fait l'objet doivent être cumulées puisqu'en vertu de l'<ref-law>, sa seconde condamnation est entrée en force avec effet rétroactif à la date à laquelle le jugement du 3 juin 2010 a été rendu, soit avant la fin de l'exécution de sa première condamnation.
2.3.1 L'<ref-law> dispose que les jugements et les autres décisions de clôture contre lesquels un moyen de recours selon le code de procédure pénale est recevable entrent en force lorsque le délai de recours a expiré sans avoir été utilisé (let. a), lorsque l'ayant droit déclare qu'il renonce à déposer un recours ou retire son recours (let. b) ou lorsque l'autorité de recours n'entre pas en matière sur le recours ou le rejette (let. c). L'<ref-law> prévoit en outre que l'entrée en force prend effet à la date à laquelle la décision a été rendue. Enfin, les décisions contre lesquelles aucun moyen de recours n'est recevable selon le code de procédure pénale entrent en force le jour où elles sont rendues (<ref-law>).
L'<ref-law> traite de la force de chose jugée (formelle Rechtskraft), laquelle consiste dans le caractère définitif d'une décision judiciaire, qui ne peut plus être attaquée et, en conséquence, modifiée, ou annulée par une voie de recours prévue par le CPP (Niklaus Schmid, Schweizerische Strafprozessordnung, Praxiskommentar, 2009, n. 7 ad <ref-law>).
2.3.2 Cette disposition n'était pas encore en vigueur lorsque les décisions cantonales des 3 juin et 6 août 2010 ont été rendues et elle ne leur est dès lors pas applicable. Le recourant, qui n'invoque aucune disposition de l'ancien code de procédure pénale vaudoise du 12 septembre 1967, ne soutient pas que le droit cantonal en vigueur à l'époque avait la même teneur que l'<ref-law>.
De plus, cette disposition détermine, notamment, la date d'entrée en force de chose jugée formelle des décisions contre lesquelles un recours formé en vertu du CPP a été rejeté (cf. art. 437 al. 1 let. c CPP) ou contre laquelle aucun moyen de recours n'est recevable selon le CPP (<ref-law>). En revanche, lorsqu'une décision fait l'objet d'un recours en matière pénale au Tribunal fédéral, la date d'entrée en force de chose jugée de l'arrêt rendu par la Cour de céans se détermine selon l'<ref-law> (cf. supra consid. 1.2.2). L'<ref-law> ne permet donc pas de déterminer, en l'espèce, quand est entré en force l'arrêt rendu le 7 février 2011.
En tout état de cause, le fait que, juridiquement, une décision entre en force avec effet rétroactif (<ref-law>) est sans influence sur le fait que tant qu'une décision définitive n'a pas été rendue, l'intéressé ne peut pas exécuter, matériellement, sa peine en vertu des art. 76 à 79 CP, comme le prévoit expressément l'art. 4 O-CP-CPM, mais se trouve en détention avant jugement, et que la durée totale des peines ne peut pas être calculée (cf. supra consid. 1.2.1). La solution invoquée par le recourant n'apparaît donc pas satisfaisante. En outre, le fait que, comme le recourant l'avance, il pourrait, en l'absence de cumul, se voir refuser des congés s'il se retrouvait au premier stade de l'exécution pour la nouvelle peine, ne suffit pas pour considérer que la seconde décision le condamnant était exécutée avant même que le Tribunal fédéral, saisi d'un recours en matière pénale interjeté par le recourant, ait statué.
3. Le recourant fait valoir une violation du principe de l'égalité de traitement (art. 8 al. 1 Cst.), invoquant une décision du Juge d'application des peines vaudois rendue dans une autre cause. La cour cantonale a indiqué que cette décision n'avait pas eu à trancher la question litigieuse en l'espèce dans la mesure où, dans cette affaire, le condamné avait exécuté sa première peine jusqu'au 21 février 2011 alors que la décision du Tribunal cantonal prononçant la seconde condamnation - qui n'avait pas fait l'objet d'un recours au Tribunal fédéral - avait été rendue le 21 janvier 2011.
3.1 Une décision viole le principe de l'égalité de traitement lorsqu'elle établit des distinctions juridiques qui ne se justifient par aucun motif raisonnable au regard de la situation de fait à juger ou lorsqu'elle omet de faire des distinctions qui s'imposent sur le vu des circonstances (<ref-ruling> consid. 4.2; <ref-ruling> consid. 5.1 et les arrêts cités).
3.2 En l'espèce, les circonstances du cas d'espèce sont différentes de celles du cas invoqué par le recourant. Dans ce dernier, la seconde décision de condamnation, soit celle du Tribunal cantonal, en l'absence de recours au Tribunal fédéral, a été prononcée avant que l'exécution de la première peine ait été achevée. Compte tenu de cette différence, le recourant ne peut valablement invoquer une inégalité de traitement. Le grief doit être rejeté. Au demeurant, si le Juge d'application des peines avait appliqué, dans un cas identique, une autre solution que celle qui a été retenue en l'espèce (cf. consid. 1.2), le recourant n'aurait pu prétendre à une égalité dans l'illégalité, à moins que la décision invoquée ne repose sur une pratique constante du Juge d'application des peines dont il y avait lieu de penser qu'il ne s'en écarterait pas dans le futur, ce qui n'est pas le cas en l'espèce (cf. <ref-ruling> consid. 5.6 p. 78; <ref-ruling> consid. 9 p. 44; <ref-ruling> consid. 3.7 p. 20; arrêt 2C_345/2012 du 27 septembre 2012 consid. 3.2).
4. Le recours doit être rejeté. Le recourant a requis le bénéfice de l'assistance judiciaire. Comme ses conclusions étaient dépourvues de chance de succès, celle-ci ne peut être accordée (<ref-law>). Le recourant devra donc supporter les frais (<ref-law>), dont le montant sera toutefois arrêté en tenant compte de sa situation financière.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. La demande d'assistance judiciaire est rejetée.
3. Les frais judiciaires, arrêtés à 1'600 francs, sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 14 décembre 2012
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
Le Greffier: Rieben