Faits: A. Titulaire d'un certificat de capacité professionnelle de vendeuse, S._, née en 1958, a exercé différentes activités, notamment comme employée de bureau (1979 à 1989) et assistante dans le domaine du marketing et de la publicité (1990 à 2003). Depuis le 1er mars 2004, elle travaille à titre indépendant comme artiste-peintre et sculpteur à Y._. Le 15 septembre 2005, elle a présenté une demande de prestations de l'assurance-invalidité. L'Office de l'assurance-invalidité du canton de Fribourg (ci-après: l'office AI) a soumis l'assurée à un examen bidisciplinaire auprès du Centre d'observation médicale de l'assurance-invalidité (COMAI). Les docteurs B._, psychiatre, et T._, spécialiste en médecine physique et rééducation, ont diagnostiqué des cervico-brachialgies C7 gauche discrètement déficitaires sur le plan sensitif et réflexe sur hernie discale C6-C7 gauche depuis novembre 2004; ils ont conclu à une capacité de travail de 100 % avec une baisse de rendement de 20 % en raison de limitations ostéo-articulaires (rapport du 31 octobre 2006). Après avoir soumis le dossier au docteur P._ de son Service médical régional (SMR), l'office AI a refusé à l'intéressée le droit à une rente, par décision du 13 novembre 2007. B. S._ a déféré cette décision au Tribunal administratif du canton de Fribourg (aujourd'hui, Tribunal cantonal, Cour des assurances sociales), en produisant en cours d'instance un rapport du docteur R._, rhumatologue, (du 20 février 2008) et de son médecin traitant, le docteur M._. Se fondant sur un avis du SMR du 2 octobre 2008, l'office AI a conclu à l'admission partielle du recours, en ce sens qu'une rente pour une période limitée devait être versée à l'assurée, qui avait présenté une importante incapacité de travail évoluant à divers degrés jusqu'en décembre 2006, avant que son état de santé ne s'améliorât de façon significative dès le mois de janvier 2007. Statuant le 29 janvier 2010, la Cour des assurances sociales du Tribunal cantonal fribourgeois l'a rejeté. C. Agissant par la voie du recours en matière de droit public contre le jugement cantonal dont elle demande l'annulation, S._ conclut, sous suite de dépens, à ce que lui soit reconnu le droit à une rente entière d'invalidité jusqu'au mois de mai 2006, puis une demi-rente dès le mois de juin 2006. L'office AI conclut au rejet du recours, tandis que l'Office fédéral des assurance sociales a renoncé à se déterminer.