Faits: A. A.a Par jugement rendu le 11 juillet 2007 par le Tribunal correctionnel d'arrondissement de Lausanne, confirmé le 28 septembre 2007 par la Cour de cassation pénale du Tribunal cantonal vaudois, X._ a été condamné à une peine privative de liberté de deux ans, dont sursis à l'exécution de la peine de un an, avec délai d'épreuve de cinq ans; cette peine est complémentaire à celle prononcée le 28 novembre 2005 par le Tribunal correctionnel de l'arrondissement de Lausanne. X._ a exécuté cette peine dès le mois de septembre 2009. L'Office vaudois d'exécution des peines (ci-après: l'OEP) en a fixé le terme au 26 septembre 2010. A.b Par jugement du 3 juin 2010, le Tribunal correctionnel de l'arrondissement de Lausanne a condamné X._ à une peine privative de liberté d'ensemble de quatre ans et demi, comprenant sa réintégration pour un mois et vingt-neuf jours, a ordonné la révocation du sursis accordé le 28 septembre 2007 par la Cour de cassation pénale du Tribunal cantonal et a ordonné l'exécution de la peine privative de liberté d'un an. Ce jugement a été confirmé par arrêt du 6 août 2010 de la Cour de cassation pénale du Tribunal cantonal vaudois, lequel a fait l'objet d'un recours au Tribunal fédéral qui a été déclaré irrecevable par arrêt du 7 février 2011. A.c Interpellé par l'OEP qui avait attiré son attention sur le fait qu'en l'absence d'un jugement entré en force au 26 septembre 2010, la détention de X._ ne serait plus couverte par un titre de détention, le Président de la Cour de cassation pénale du Tribunal cantonal a décerné, le 23 septembre 2010, un mandat d'arrêt à l'encontre du précité et a ordonné à la direction des Établissements de la plaine de l'Orbe son maintien en détention dans le cadre de la procédure encore pendante à cette date. La Cour de cassation pénale a rejeté le recours formé par le condamné contre ce mandat d'arrêt par arrêt du 6 octobre 2010. Elle a rejeté, par arrêt du 15 février 2011, la demande de mise en liberté déposée par l'intéressé. A.d Par courriers des 20 avril et 3 mai 2011 adressés à l'OEP, X._ a contesté les différentes échéances relatives à sa peine telles qu'elles avaient été calculées par cet Office et figuraient dans sa fiche d'écrou. Il a fait valoir qu'il avait débuté l'exécution de sa première peine le 24 septembre 2009. Il a additionné la durée de ses deux peines, dont le total est de 6 ans et demi, soit 78 mois, et a calculé qu'il aurait ainsi exécuté le premier tiers de cette peine - soit 26 mois - le 26 novembre 2011. Par décision du 24 mai 2011, l'OPE a indiqué qu'il n'y avait pas lieu de cumuler, au sens de l'art. 4 de l'ordonnance du Conseil fédéral du 19 septembre 2006 relative au code pénal et au code pénal militaire (O-CP-CPM; RS 311.01), les peines découlant des jugements des 3 juin 2010 et 11 juillet 2007. Il a considéré, en substance, que la peine prononcée le 3 juin 2010 n'était pas exécutable avant l'échéance de celle prononcée le 11 juillet 2007 en raison des recours dont elle avait fait l'objet. Ce n'était qu'à la suite de l'arrêt du Tribunal fédéral du 7 février 2011 que le jugement du 3 juin 2010 était devenu exécutoire, soit après l'exécution intégrale de la peine privative de liberté prononcée le 11 juillet 2007. Selon la fiche d'écrou établie par l'OEP, X._ a exécuté le premier tiers de sa seconde peine, d'une durée de 5 ans et demi (soit 4 ans et demi pour la seconde condamnation ainsi qu'un an en raison de la révocation du sursis à l'exécution de la première), le 26 juillet 2012, soit dix mois après la date retenue par l'intéressé. Le terme de la peine correspond en revanche au 26 mars 2016, tant selon les calculs du recourant que ceux de l'OEP. A.e Le 1er septembre 2011, X._ a demandé à l'OEP de revoir sa décision du 24 mai 2011 au vu du prononcé rendu le 7 juillet précédent par le Juge d'application des peines vaudois dans une autre cause. L'Office précité a rejeté cette requête le 20 septembre 2011, considérant que le condamné ne se trouvait pas en exécution de peine au sens de l'art. 4 O-CP-CPM au moment de l'entrée en force de sa seconde condamnation, mais en détention avant jugement, et qu'il n'y avait pas lieu de cumuler les peines. X._ a formé recours auprès du Juge d'application des peines contre cette décision. Le recours a été rejeté le 11 mai 2012 et la décision du 20 septembre 2011 de l'OEP a été confirmée. B. Saisie d'un recours interjeté par X._ contre le prononcé du 11 mai 2012, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté celui-ci par arrêt du 15 juin 2012. C. X._ forme un recours en matière pénale au Tribunal fédéral contre cette décision. Il conclut à la réforme de l'arrêt attaqué en ce sens que le cumul, au sens des art. 4 et 5 O-CP-CPM, est admis en ce qui concerne les peines prononcées à son encontre les 11 juillet 2007 et 3 juin 2012 (recte: 2010) et à ce que sa fiche d'écrou soit modifiée en conséquence. Il sollicite en outre l'octroi de l'assistance judiciaire.