Faits:
A. M._, né en 1973, a travaillé depuis juin 2004 comme opérateur de contrôle pour le compte de la société X._ SA ; il en a été licencié pour le 30 avril 2008. Après s'être annoncé à l'assurance-chômage, le prénommé a déposé le 6 octobre 2009 auprès de l'Office de l'assurance-invalidité du canton de Fribourg (l'office AI) une demande tendant à l'octroi d'une rente et de mesures de réadaptation professionnelle, invoquant une atteinte à la santé psychique. Ayant joint à la cause le dossier constitué par l'assurance-chômage (comprenant une attestation de l'employeur du 30 avril 2008 dans laquelle X._ SA indique notamment que M._ n'avait pas travaillé entre le 12 décembre 2007 et le 30 avril 2008), l'administration a recueilli les renseignements médicaux usuels auprès des médecins traitants de l'assuré. Le docteur A._, spécialiste FMH en médecine interne générale, estimait qu'en dépit d'un trouble de la personnalité sans précision, son patient était en mesure de travailler sans restrictions dans l'activité habituelle (rapport du 22 octobre 2009). Les docteurs V._ et T._, du Service psycho-social Y._ (le service psycho-social), considéraient que l'intéressé souffrait d'un trouble de la personnalité émotionnellement labile, type impulsif, existant depuis l'adolescence, limitant à 50 % sa capacité de travail et diminuant son rendement ; ils ont en outre retenu plusieurs périodes d'incapacité totale de travailler pour l'année 2009 (du 9 mars au 3 avril, du 18 au 21 août et du 21 septembre au 13 octobre ; rapport du 9 novembre 2009). L'office AI a soumis ces documents à l'appréciation de la doctoresse H._, spécialiste FMH en médecine interne générale auprès de son service médical régional (SMR), qui a conclu à l'existence d'une pleine capacité de travail dans l'activité habituelle (rapport du 1er décembre 2009). Par décision du 1er mars 2010 confirmant un projet du 5 janvier précédent, l'administration a rejeté la demande.
B. L'assuré a déféré cette décision devant le Tribunal cantonal du canton de Fribourg, Cour des assurances sociales, en concluant à la mise en ?uvre d'une expertise bidisciplinaire (psychiatrique et neurologique) ainsi qu'à l'octroi de mesures professionnelles et d'une rente de l'assurance-invalidité. Il a transmis au tribunal cantonal un certificat médical (du 23 mars 2010) du docteur B._, spécialiste FMH en psychiatrie et psychothérapie, faisant état d'une incapacité de travail totale du 14 février au 19 mars 2010. L'office AI a produit un rapport (du 7 mars 2011) du docteur R._, spécialiste FMH en psychiatrie et psychothérapie auprès du service psycho-social, dont il ressort notamment que M._ avait été hospitalisé du 1er au 11 février 2010. Par jugement du 20 septembre 2012, le tribunal cantonal a modifié la décision du 1er mars 2010 en ce sens que la cause était renvoyée à l'office AI pour nouvelle décision sur le droit du prénommé à des mesures de réadaptation, au besoin après avoir mis en ?uvre des mesures d'instruction complémentaires, et rejeté le recours pour le surplus.
C. M._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. Il conclut à l'octroi d'une rente de l'assurance-invalidité, éventuellement au renvoi de la cause à l'office AI pour mise en ?uvre d'une instruction complémentaire sous forme d'expertise bidisciplinaire psychiatrique et neurologique.
Considérant en droit:
1. En ce que le jugement entrepris refuse au recourant le droit à une rente de l'assurance-invalidité, il constitue une décision finale (art. 90 LTF) et celle-ci est indépendante du droit à des mesures de réadaptation sur lesquelles l'administration a été chargée de statuer à nouveau. Il y a lieu dès lors d'entrer en matière sur le recours.
2. Saisi d'un recours en matière de droit public (art. 82 ss LTF), le Tribunal fédéral exerce un pouvoir d'examen limité. Il applique le droit d'office (art. 106 al. 1 LTF) et statue sur la base des faits retenus par l'autorité précédente (art. 105 al. 1 LTF). Il peut néanmoins rectifier ou compléter d'office l'état de fait du jugement entrepris si des lacunes ou des erreurs manifestes lui apparaissent aussitôt (art. 105 al. 2 LTF). Il examine en principe seulement les griefs motivés (art. 42 al. 2 LTF) et ne peut pas aller au-delà des conclusions des parties (art. 107 al. 1 LTF). Le recourant ne peut critiquer la constatation des faits importants pour le sort de l'affaire que si ceux-ci ont été établis en violation du droit ou de façon manifestement inexacte (art. 97 al. 1 LTF).
3. Tel que défini par les conclusions du recours, le litige porte sur le droit du recourant à une rente de l'assurance-invalidité, plus particulièrement sur son degré d'invalidité. Le jugement entrepris expose correctement les principes juridiques applicables au cas d'espèce, si bien qu'il suffit d'y renvoyer.
4. 4.1 Les premiers juges ont considéré, en se fondant sur l'attestation de l'employeur remplie par X._ SA ainsi que sur les rapports respectifs des docteurs T._/V._, R._ et B._, que le recourant avait été à plusieurs reprises en incapacité totale de travail entre le 12 décembre 2007 et le 19 mars 2010. Cependant, compte tenu de la durée et de la répartition dans le temps des périodes en question, l'intéressé n'avait pas présenté, que ce soit au moment du dépôt de sa demande de prestations ou lorsque l'intimé a rendu la décision litigieuse, une incapacité de travail de 40 % au moins et sans interruption notable pendant une année.
4.2 Le recourant fait grief à la juridiction cantonale d'avoir procédé à une constatation manifestement inexacte des faits pertinents, consécutive à une mauvaise appréciation des preuves, et violé son droit d'être entendu. Il reproche en particulier aux premiers juges de ne pas avoir pris en considération la capacité de travail de 50 % retenue par les docteurs V._ et T._. Compte tenu de l'avis de ces médecins, l'instance cantonale aurait dû selon lui mettre en ?uvre une expertise médicale afin d'évaluer les répercussions de ses troubles psychiques sur sa capacité de travail.
5. 5.1 La violation du droit d'être entendu en lien avec l'administration de preuves (cf. notamment ATF 130 II 425 consid. 2.1 p. 429), telle qu'invoquée en l'occurrence, est une question qui n'a pas de portée propre par rapport au grief tiré d'une mauvaise appréciation des preuves dans la mesure où assureur et juge peuvent renoncer à effectuer des actes d'instruction sans que cela n'engendre une violation du droit d'être entendu si, en se fondant sur une appréciation consciencieuse des preuves (ATF 125 V 351 consid. 3a p. 352), ils sont convaincus que des faits présentent un degré de vraisemblance prépondérante et que des mesures probatoires supplémentaires ne pourraient plus modifier cette appréciation (sur l'appréciation anticipée des preuves, voir notamment ATF 131 I 153 consid. 3 p. 157; 130 II 425 consid. 2 p. 428 s.). L'argumentation développée sera donc traitée avec le fond du litige.
5.2 Dans leur rapport du 9 novembre 2009, les docteurs V._ et T._ n'exposent pas en quoi les restrictions psychiques de leur patient, qui se manifestent selon eux par une intolérance au stress, un sentiment d'injustice et une victimisation, limiteraient sa capacité de travail dans l'activité habituelle et la diminution de rendement qu'ils retiennent est justifiée uniquement par une « perte de motivation fluctuante ». De plus, force est de constater à l'instar de la doctoresse H._ que le trouble de la personnalité - dont le recourant souffre, aux dires des médecins du service psycho-social, depuis l'adolescence - ne l'a pas empêché de travailler pendant plusieurs années. Selon cette doctoresse, rien n'indiquait que le trouble en question était actuellement décompensé et l'intéressé n'invoque pas d'avis médicaux susceptibles de remettre en cause cette appréciation. Enfin, les conclusions du médecin du SMR selon lesquelles le recourant dispose d'une pleine capacité de travail dans l'activité habituelle correspondent à celles du docteur A._. Il s'ensuit que la juridiction cantonale pouvait, sans tomber dans l'arbitraire, considérer que l'intéressé ne présentait pas une incapacité de travail propre à lui ouvrir le droit à une rente de l'assurance-invalidité et renoncer à ordonner une expertise médicale qui ne se révélait pas nécessaire au regard des pièces du dossier.
6. Compte tenu de ce qui précède, le recours est mal fondé. Le recourant, qui succombe, doit en principe supporter les frais judiciaires afférents à la présente procédure (art. 66 al. 1, 1ère phrase, LTF) alors qu'il n'a pas droit à des dépens (art. 68 al. 1 LTF). Il convient toutefois d'accepter sa demande d'assistance judiciaire, dès lors qu'il en réalise les conditions (cf. art. 64 al. 1 et 2 LTF). Le recourant est rendu attentif au fait qu'il devra rembourser la caisse du tribunal s'il se trouve ultérieurement en mesure de le faire (art. 64 al. 4 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. L'assistance judiciaire est accordée et Maître Alain Ribordy est désigné comme avocat d'office du recourant.
3. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant. Ils sont toutefois supportés provisoirement par la caisse du Tribunal.
4. Une indemnité de 2'800 fr. est allouée à l'avocat du recourant à titre d'honoraires à payer par la caisse du Tribunal.
5. Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Fribourg, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 27 mars 2013
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Kernen
Le Greffier: Bouverat