Faits:
A. R._ a travaillé dès 1988 dans le domaine de la restauration, puis comme employé dans une boucherie et une laiterie. A partir de septembre 2002, il a exploité à titre d'indépendant un commerce alimentaire à l'enseigne "X._" à Y._.
A la suite d'un accident de la circulation (survenu le 11 décembre 2003), R._ a souffert de maux de tête et de cervicalgies. Incapable de travailler jusqu'au 24 mars 2004, il a repris son activité à mi-temps à partir de cette date. Le 15 juin 2005, il a présenté une demande de prestations de l'assurance-invalidité. L'Office de l'assurance-invalidité du canton de Fribourg (ci-après: l'office AI) a pris des renseignements économiques et médicaux, notamment auprès du docteur U._, spécialiste FMH en médecine interne. Il a également soumis l'assuré à un examen interdisciplinaire au Centre d'observation médicale de l'assurance-invalidité (COMAI). Dans leur rapport du 16 novembre 2007, les docteurs G._, spécialiste FMH en rhumatologie, médecine interne et médecine du sport, et B._, spécialiste FMH en psychiatrie et psychothérapie, ont diagnostiqué, avec répercussion sur la capacité de travail, des troubles statiques et dégénératifs modérés du rachis cervical, ainsi que, sans répercussion sur la capacité de travail, des cervico-brachialgies et douleurs ubiquitaires de la musculature et du squelette dans un contexte de syndrome douloureux, des séquelles de maladie de Scheuermann, un trouble somatoforme indifférencié et une majoration de symptômes physiques pour des raisons psychologiques. Ils ont conclu que l'assuré avait conservé une capacité de travail et un rendement à 100 % dans son activité professionnelle. Après avoir requis l'avis de son Service médical régional et du docteur K._, spécialiste FMH en psychiatrie et psychothérapie, consulté par l'assuré en février 2008, l'office AI a rejeté la demande de prestations, par décision du 15 avril 2009.
B. R._ a déféré cette décision au Tribunal cantonal du canton de Fribourg, Cour des assurances sociales, en produisant des nouveaux rapports et certificats médicaux des docteurs U._ et K._. Par jugement du 22 décembre 2011, le Tribunal cantonal a rejeté son recours.
C. R._ interjette un recours en matière de droit public contre ce jugement, dont il demande l'annulation. Sous suite de frais et dépens, il conclut principalement à l'octroi d'une rente entière d'invalidité "mais au minimum une demi-rente" et, subsidiairement, au renvoi de la cause à l'office AI pour qu'il "réactualise le dossier médical" et mette en oeuvre une nouvelle expertise psychiatrique, voire un stage d'évaluation professionnelle. A titre plus subsidiaire encore, il conclut au renvoi de la cause à la Cour des assurances sociales du Tribunal cantonal fribourgeois pour qu'elle statue au sens des considérants et des conclusions énoncées ci-avant.
Le Tribunal fédéral a renoncé à procéder à un échange d'écritures.
Considérant en droit:
1. Le recours en matière de droit public (art. 82 ss LTF) peut être formé pour violation du droit selon l'art. 95 sv. LTF. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), sous réserve des cas prévus à l'art. 105 al. 2 LTF. Cette disposition lui donne la faculté de rectifier ou compléter d'office l'état de fait de l'arrêt attaqué dans la mesure où des lacunes ou erreurs dans celui-ci lui apparaîtraient d'emblée comme manifestes. Quant au recourant, il ne peut critiquer la constatation de faits importants pour le jugement de la cause que si ceux-ci ont été constatés en violation du droit au sens de l'art. 95 LTF ou de manière manifestement inexacte (art. 97 al. 1 LTF).
2. Le présent litige porte sur le droit du recourant à une rente d'invalidité. Le jugement entrepris expose correctement les règles légales et jurisprudentielles applicables à la solution du litige, en particulier la jurisprudence sur les troubles somatoformes douloureux et le principe de la libre appréciation des preuves. Il suffit donc d'y renvoyer.
3. Se plaignant d'arbitraire dans l'appréciation des preuves, le recourant reproche à la juridiction cantonale de s'être fondée exclusivement sur le rapport du COMAI du 16 novembre 2007 pour nier son droit à une rente d'invalidité et la nécessité de mesures d'instruction complémentaires (expertise psychiatrique et stage d'évaluation professionnelle). Il soutient que l'autorité cantonale de recours n'était pas en droit de suivre l'expertise du COMAI, parce qu'elle comprenait une analyse des critères jurisprudentiels relatifs au caractère invalidant du trouble somatoforme douloureux effectuée sur la base d'éléments erronés ou qui avaient évolué depuis. La juridiction cantonale aurait par ailleurs ignoré les diagnostics mis en évidence par les docteurs K._ et U._ et écarté arbitrairement leurs avis en invoquant leur position de médecins traitants.
3.1 Le Tribunal fédéral n'examine le résultat de l'appréciation des preuves à laquelle a procédé l'autorité cantonale de recours que sous l'angle restreint de l'arbitraire. L'appréciation des preuves est arbitraire lorsque l'autorité ne prend pas en compte, sans raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (ATF 129 I 8 consid. 2.1 p. 9).
3.2 Avec son argumentation, le recourant ne parvient pas à établir le caractère arbitraire de l'appréciation des preuves à laquelle a procédé la juridiction cantonale, qui, à l'issue d'un examen des pièces médicales du dossier et en se fondant sur les conclusions de l'expertise du COMAI a constaté que l'assuré souffrait essentiellement d'un trouble somatoforme douloureux sans incidence sur sa capacité de travail et de cervicalgies chroniques qui induisaient quelques limitations fonctionnelles, mais ne l'empêchaient pas d'exercer son ancienne activité (qui respectait ces limitations).
3.2.1 Les critiques émises par le recourant à l'encontre de l'appréciation psychiatrique de la doctoresse B._ sont tout d'abord mal fondées. Le reproche relatif à la durée trop brève de l'examen psychiatrique (une heure) n'est pas pertinent. La durée de l'examen - qui n'est pas en soi un critère de la valeur probante d'un rapport médical -, ne saurait en effet remettre en question la valeur du travail de l'experte, dont le rôle consistait notamment à se prononcer sur l'état de santé psychique de l'assuré dans un délai relativement bref (cf. arrêt 9C_443/2008 du 28 avril 2009 consid. 4.4.2). Elle ne peut donc être comparée à la durée des consultations (mentionnées par le recourant) chez les docteurs L._ et M._ du Service psycho-social Z._, auprès duquel l'assuré bénéficiait d'un suivi psychiatrique régulier.
En ce qui concerne ensuite le prétendu caractère erroné de l'analyse de la psychiatre du COMAI, il ne peut être déduit du fait invoqué par le recourant à cet égard que l'experte a mentionné, en relation avec le critère jurisprudentiel de "la perte d'intégration sociale secondaire aux douleurs dans tous les domaines de la vie", qu'il continuait son activité professionnelle alors qu'il ne travaillait plus en novembre 2007 et ce depuis le mois d'avril précédent. On remarquera que la doctoresse B._ a interrogé le recourant sur sa situation professionnelle lors de leur entretien (le 15 mai 2007), mais n'a apparemment reçu que des réponses évasives ("De plus, il est très difficile de lui faire préciser sa situation professionnelle et ses horaires de travail", expertise de psychiatrie, p. 12), alors qu'il aurait été tenu de lui indiquer, le cas échéant, la cessation de son activité lucrative. Quoi qu'il en soit, le critère de la perte d'intégration sociale dans toutes les manifestations de la vie ne correspond pas à l'absence de l'exercice d'une activité lucrative ou à un échec dans la tentative d'une réinsertion professionnelle, comme semble l'avoir compris le recourant. Le fait qu'il aurait cessé son activité professionnelle depuis avril 2007 et bénéficié depuis lors de l'assistance sociale ne conduit pas à admettre la réalisation du critère en cause. Il ne ressort en effet aucunement de l'anamnèse ou des données subjectives de l'assuré (expertise de psychiatrie, p. 2 à 5) que le recourant aurait subi un retrait social marqué; il indique, par exemple, aimer sortir de chez lui pour rencontrer des gens et discuter. Ce critère n'est pas non plus établi, quoi qu'en dise le recourant, par l'appréciation du docteur K._ qui a fait état de difficultés relationnelles avec repli social persistant (rapport du 27 octobre 2009). Le médecin n'a pas motivé ces constatations plus avant, ni retenu (voire discuté) le diagnostic de syndrome douloureux somatoforme au regard duquel la présence du critère en cause doit être examinée (la "symptomatologie douloureuse et anxieuse consécutive à un accident de circulation et apparue avec un temps de latence" [rapport du 24 mars 2009] ne correspondant pas à ce diagnostic). En tout état de cause, ce critère ne suffirait pas à lui seul à admettre le caractère invalidant du trouble somatoforme douloureux diagnostiqué par les médecins du COMAI.
3.2.2 C'est en vain, ensuite, que le recourant se réfère aux avis de son psychiatre traitant pour invoquer l'évolution de sa maladie entre la date de l'expertise du COMAI et le prononcé de la décision administrative. Contrairement à ce qu'il affirme, la juridiction cantonale n'a pas ignoré les diagnostics posés par le docteur K._ (et repris par le docteur U._), mais exposé de manière convaincante pour quels motifs elle a considéré ne pas pouvoir suivre les conclusions du psychiatre qui ne s'était pas prononcé sur le diagnostic de trouble somatoforme douloureux, ni n'avait motivé de façon suffisante l'incapacité de travail retenue. Elle ne s'est pas non plus limitée à invoquer la position de médecin traitant du docteur K._, mais a apprécié de manière globale le contenu et la valeur probante de ses rapports.
En ce qui concerne, en particulier, les diagnostics posés par le psychiatre traitant, on constate que celui de trouble de la personnalité décompensé avait été évoqué par la doctoresse B._, mais pas retenu puisque les critères en faisaient défaut. Postérieurement à l'expertise du COMAI, le docteur K._ a certes diagnostiqué une modification acquise de la personnalité, d'allure post-traumatique, mais il n'a cependant pas motivé en quoi les critères en étaient réunis et l'évaluation de sa consoeur dépassée. Par ailleurs, faute de précision et motivation suffisantes, les avis du psychiatre traitant ne permettent pas de retenir, comme le voudrait le recourant, que les diagnostics posés ne seraient pas une manifestation du trouble somatoforme douloureux, qui s'accompagne souvent d'une altération du comportement interpersonnel (Classification internationale des maladies et des problèmes de santé connexes, 10e édition, OMS, [CIM-10] ad F45.0 et F45.1) ou revêtent, en tant que comorbidités psychiatriques, une sévérité et une gravité suffisantes au sens de la jurisprudence sur les troubles somatoformes douloureux (cf. ATF 130 V 354).
3.3 Il résulte de ce qui précède que la juridiction cantonale pouvait, sans tomber dans l'arbitraire, renoncer à ordonner une expertise médicale ou d'autres mesures d'instructions, qui ne se révélaient pas nécessaires au regard des pièces au dossier, et choisir de s'en tenir à l'évaluation du COMAI plutôt qu'à celle du psychiatre traitant.
Le recours est, en conséquence, mal fondé.
4. Vu l'issue de la procédure, le recourant supportera les frais judiciaires (art. 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Fribourg, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 29 août 2012
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
La Greffière: Moser-Szeless