Faits:
A. R._ a travaillé comme ouvrier pour le compte de l'agence X._ SA dans le cadre de missions temporaires, entre lesquelles il a bénéficié de prestations de chômage. Invoquant souffrir de dépression chronique, il a présenté une demande de prestations de l'assurance-invalidité le 27 octobre 2004. L'Office de l'assurance-invalidité du canton de Fribourg (ci-après: office AI) a notamment confié une expertise pluridisciplinaire au Centre d'expertise médicale (ci-après: CEMed), où les docteurs B._, rhumatologue, et O._, psychiatre et psychothérapeute, ont conclu à une capacité de travail entière dans une activité adaptée (ne nécessitant pas de mouvements de flexion ou d'extension du rachis, sans port de charges de plus de 10 kg, ni position debout prolongée; rapport du 30 novembre 2006). Fort de ces conclusions, l'office AI a nié le droit à une rente d'invalidité, motif pris de l'absence de perte de gain (décision du 22 novembre 2007).
B. R._ a déféré cette décision à la Cour des assurances sociales du Tribunal administratif du canton de Fribourg (aujourd'hui, Cour des assurances sociales du Tribunal cantonal), en produisant des rapports médicaux de ses médecins traitants (les docteurs M._, généraliste, H._, neurologue, et E._, gastroentérologue). Statuant le 29 janvier 2010, le Tribunal cantonal a rejeté le recours.
C. Agissant par la voie du recours en matière de droit public, R._ conclut, sous suite de frais et dépens, à l'annulation du jugement cantonal et de la décision administrative du 22 novembre 2007, ainsi qu'à l'octroi d'une rente entière d'invalidité. A titre subsidiaire, il demande le renvoi du dossier à l'office AI pour instruction complémentaire et nouvelle décision.
L'office AI conclut implicitement au rejet du recours en se référant aux considérants du jugement cantonal, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit:
1. Le recours en matière de droit public peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>), sans être limité par les arguments du recourant ou par la motivation de l'autorité précédente. Le Tribunal fédéral n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'<ref-law>, et ne peut aller au-delà des conclusions des parties (<ref-law>). Il fonde son raisonnement sur les faits retenus par la juridiction de première instance (<ref-law>) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>). Le recourant qui entend s'écarter des faits constatés doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> sont réalisées sinon un état de fait divergent ne peut être pris en considération.
2. Le litige porte sur le droit du recourant à une rente de l'assurance-invalidité. A cet égard, le jugement entrepris expose correctement les règles légales et les principes jurisprudentiels relatifs, en particulier, à l'évaluation de l'invalidité d'un assuré se trouvant proche de l'âge donnant droit à une rente de vieillesse, applicables au présent cas. Il suffit d'y renvoyer.
3. 3.1 Dans un premier moyen tiré de l'arbitraire dans la constatation des faits, le recourant reproche aux premiers juges de s'être ralliés aux conclusions de l'expertise du CEMed, qui concernait les seuls volets psychiatrique et rhumatologique.
En l'occurrence, le recourant n'explique pas en quoi l'appréciation des preuves à laquelle la juridiction cantonale a procédé - et selon laquelle il dispose d'une capacité de travail entière dans une activité adaptée à son handicap - serait manifestement insoutenable. A la lecture du jugement entrepris, il apparaît au contraire que les premiers juges se sont appliqués à comparer les différents rapports médicaux versés au dossier et ont expliqué de façon circonstanciée les raisons pour lesquelles ils ont suivi les conclusions du CEMed plutôt que celles des docteurs H._ et E._ ou encore du psychiatre traitant, le docteur L._. Ils ont également examiné les incidences éventuelles sur la capacité de travail du diabète et des problèmes cardiaques invoqués par le recourant, en en écartant toute répercussion négative au regard de l'avis du docteur K._, cadiologue. Le recourant se limite à critiquer de façon tout-à-fait générale la manière dont la juridiction cantonale a constaté les faits, sans chercher à démontrer qu'un autre point de vue médical que celui suivi par l'autorité de recours de première instance serait objectivement mieux fondé ou, du moins, justifierait la mise en oeuvre de mesures d'instruction complémentaires. Son grief est dès lors mal fondé.
3.2 Le recourant soutient ensuite que la juridiction cantonale n'a pas dûment tenu compte de son âge. Selon lui, cette circonstance, ajoutée au fait qu'il présente de nombreuses limitations et est incapable psychologiquement d'envisager un nouvel emploi pour lequel il n'aurait ni expérience ni formation adéquate, implique qu'il n'existe aucune activité adaptée qui pourrait raisonnablement être exigée de lui.
En l'espèce, la juridiction cantonale a examiné l'ensemble des circonstances concrètes de la cause, en particulier le parcours professionnel du recourant qui l'a amené à exercer différentes activités, notamment dans le domaine industriel et la conciergerie. Elle en a déduit que l'intéressé avait démontré disposer de facultés d'adaptation en changeant fréquemment d'emplois et restait en mesure de retrouver un emploi léger et adapté à son handicap sur un marché équilibré du travail. Dans ce contexte également, l'argumentation du recourant revient en substance à contester l'appréciation des premiers juges en leur opposant la sienne propre. En affirmant que son dossier ne permet pas de conclure qu'il aurait la moindre chance de retrouver un emploi (fût-ce dans le domaine industriel) et qu'il ne dispose pas d'une capacité d'adaptation suffisante, il n'établit nullement, au moyen d'une motivation précise et détaillée, en quoi la juridiction cantonale aurait fait un usage manifestement erroné de son pouvoir d'appréciation ou violé le droit fédéral. La référence au rapport du docteur L._ du 27 août 2007 ne suffit pas à cet égard, dès lors que la juridiction cantonale a dûment expliqué les raisons pour lesquelles il était exigible du recourant qu'il mette en valeur sa capacité de travail entière dans une activité adaptée, malgré son âge proche de celui de la retraite, et pourquoi elle ne pouvait suivre l'avis du psychiatre traitant compte tenu de l'expertise mise en oeuvre par l'intimé.
3.3 Il résulte de ce qui précède que le recours est mal fondé.
4. Vu l'issue de la procédure, le recourant supportera les frais y afférents (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Fribourg, Chambre des assurances, et à l'Office fédéral des assurances sociales.
Lucerne, le 18 août 2010
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: La Greffière:
Meyer Moser-Szeless