Faits:
A. A.a P._ a travaillé depuis 1992 en qualité d'ébarbeur au service de X._ SA. Le 15 janvier 1996, il a déposé une première demande de prestations de l'assurance-invalidité en raison d'arthrose au niveau des disques de la colonne vertébrale et d'une sciatique.
Après instruction de son dossier, l'office de l'assurance-invalidité du canton du Jura (ci-après: l'office AI) lui a octroyé une demi-rente d'invalidité par décision du 19 juin 1997. Saisie d'un recours de l'intéressé contre cette décision, la Chambre des assurances du Tribunal cantonal jurassien l'a partiellement admis par jugement du 29 septembre 1998 et a renvoyé la cause à l'office AI pour complément d'instruction et nouvelle décision. A la suite de ce jugement, l'office AI a alloué à l'assuré une rente entière d'invalidité à partir du 1er février 1997, par décision du 23 juillet 1999.
Dans le cadre d'une procédure de révision du droit à la rente, l'office AI a mandaté le docteur M._, spécialiste FMH en rhumatologie, d'une expertise sur la personne de l'assuré. Dans un rapport du 24 juin 2004, l'expert a posé le diagnostic de lombosciatalgie gauche non-déficitaire d'évolution chronique, d'anomalie jonctionnelle thoraco-lombaire et lombo-sacrée et de discopathie L4-L5 non évolutive. Il a conclu à une capacité résiduelle de travail de 70 % dans une activité adaptée. Se fondant sur les conclusions de cette expertise, l'office AI a supprimé le droit à la rente de l'assuré, par décision du 15 octobre 2004, au motif que son degré d'invalidité ne dépassait pas 35 %. L'assuré s'y est opposé le 10 novembre 2004 mais son opposition a été déclarée irrecevable faute de motivation.
A.b Par nouvelle demande du 13 juin 2005, P._ a requis des mesures de réadaptation professionnelles, lesquelles lui ont été refusées par décision du 17 février 2006. L'assuré s'étant opposé à cette décision, l'office AI l'a mis au bénéfice d'une mesure d'orientation professionnelle, par décision du 27 avril 2006. A la suite de l'entretien de réadaptation professionnelle qu'il a eu avec l'office AI, l'assuré a fait l'objet d'une expertise rhumatologique effectuée par le Service médical régional de l'assurance-invalidité (SMR). Dans son rapport subséquent du 25 octobre 2006, la doctoresse H._, spécialiste FMH en médecine physique et rééducation, a posé comme diagnostic avec répercussion sur la capacité de travail des lombosciatalgies gauches non déficitaires dans le cadre d'une lombalisation partielle S1, un léger trouble statique et dégénératif, avec protrusions non compressives L4-L5 et L5-L6 et des cervico-brachialgies gauches dans le cadre d'un trouble statique et dégénératif étagé avec petite hernie discale latérale gauche C6-C7 non déficitaire. Dans son activité habituelle, l'assuré présentait une incapacité de travail totale; en revanche, dans une activité adaptée, la capacité de travail était de 70 %.
L'assuré a en outre bénéficié d'un stage d'observation professionnelle en petite mécanique horlogère chez Y._ SA du 12 mars au 15 juillet 2007, suivi d'une formation au sein de cette même entreprise du 16 juillet au 28 octobre 2007 (cf. communications de l'office AI des 10 mai et 5 juillet 2007).
Par décision du 11 avril 2008, l'office AI a accordé à P._ un quart de rente d'invalidité à partir du 1er mai 2008, fondée sur un degré d'invalidité de 43 %. Dans une deuxième décision du 16 mai 2008, il lui a également octroyé un quart de rente pour la période du 1er mars 2005 au 30 avril 2008.
B. L'assuré ayant recouru séparément contre chacune de ces décisions, respectivement les 15 et 28 mai 2008, la Chambre des assurances du Tribunal cantonal jurassien a joint les causes et rejeté les deux recours par arrêt du 15 décembre 2009.
C. P._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation, en concluant à l'octroi d'une rente fondée sur un taux d'invalidité de 60 %. Il requiert par ailleurs le bénéfice de l'assistance judiciaire.
Par ordonnance du 22 février 2010, le Tribunal fédéral a rejeté la demande d'assistance judiciaire au motif que le recours semblait dénué de chances de succès.

Considérant en droit:
1. 1.1 Le recours en matière de droit public (art. 82 s. LTF) peut être formé pour violation du droit au sens des art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>) et n'est donc pas limité par les arguments du recourant, ni par la motivation de l'autorité précédente; il peut admettre un recours pour d'autres motifs que ceux allégués et rejeter un recours en adoptant une autre argumentation que celle de l'autorité précédente (<ref-ruling> consid. 1.4 p. 140). Il ne peut aller au-delà des conclusions des parties (<ref-law>). Eu égard à l'exigence de motivation prévue à l'<ref-law>, il n'examine que les griefs invoqués, pour autant que les vices ne soient pas évidents. Il n'est pas tenu de traiter toutes les questions juridiques qui se posent, comme le ferait une autorité de première instance, lorsque celles-ci ne sont pas ou plus abordées devant lui.
1.2 Le Tribunal fédéral fonde par ailleurs son raisonnement sur les faits retenus par la juridiction de première instance (<ref-law>), sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>). Le recourant qui entend s'en écarter doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> sont réalisées sinon un état de fait divergent ne peut être pris en considération. Aucun fait nouveau, ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (<ref-law>).
2. Le litige porte sur le taux d'invalidité du recourant. La juridiction cantonale a exposé correctement les règles légales applicables à la solution du litige, si bien qu'il suffit de renvoyer au jugement attaqué.
3. La juridiction cantonale a constaté que le recourant disposait depuis le 1er mars 2005 à tout le moins, d'une capacité de travail résiduelle de 70 % dans une activité adaptée, compte tenu des limitations fonctionnelles suivantes: pas de position statique prolongée debout, en flexion-extension du rachis et en porte-à-faux, pas de mouvements extrêmes de la tête, port de charges limitées à 10 kilos occasionnellement et possibilité de changer régulièrement de position. Pour parvenir à ces conclusions, la juridiction cantonale s'est fondée principalement sur les conclusions de l'expertise du SMR du 25 octobre 2006, laquelle remplit les exigences jurisprudentielles en matière de valeur probante; cette appréciation est corroborée par celle du docteur A._, spécialiste FMH en médecine interne et maladies rhumatismales (rapport du 21 septembre 2007), et du docteur B._, médecin traitant du recourant (rapport du 27 juin 2008). Par ailleurs, les premiers juges se sont écartés de l'avis ultérieur du docteur A._ (rapport du 25 avril 2008) - qui estime que la capacité de travail du recourant n'excède pas 50 % de manière définitive, en raison de l'atteinte à la santé sur le plan rachidien, tant au niveau cervical que lombaire -, au motif que ce praticien n'explique pas pourquoi il s'écarte de son précédent avis. Au demeurant, il est le médecin traitant du recourant. Or, selon la jurisprudence, le médecin traitant est généralement enclin à prendre parti pour son patient en raison de la relation de confiance qui l'unit à ce dernier (<ref-ruling> consid. 3a p. 352, 122 V 157 consid. 1c et les références p. 160). C'est dire que son avis ne pouvait pas l'emporter face à une expertise médicale motivée et à l'ensemble des appréciations médicales circonstanciées qui retiennent toutes une capacité résiduelle de travail de 70 %.
La juridiction cantonale a ensuite constaté que le recourant n'avait pas pu atteindre le rendement exigé de 70 % au cours de son stage et sa formation en entreprise. Les dernières observations faites en octobre 2008 font état d'un rythme de travail de 53 %, respectivement de 41 % dans la menuiserie. Selon les premiers juges, on ne peut cependant en inférer que le recourant n'est pas à même d'accomplir une activité à 70 % puisqu'il n'a pas travaillé depuis 1995 et qu'après plusieurs années d'inactivité, une période d'entraînement est nécessaire. Au demeurant, il appartient aux médecins de se prononcer sur la capacité de travail d'un assuré, ses limitations fonctionnelles et le type d'activités encore exigibles dans la mesure où leur connaissance spécifique de la médecine leur permet de dépasser le stade de la simple observation in situ qui comprend trop de facteurs incontrôlables pour emporter à elle seule la conviction dans une situation médicale controversée (arrêt 9C_34/2008 du 7 octobre 2008 consid. 3).
4. De son côté, le recourant soutient que le jugement cantonal ne s'est pas fondé sur une appréciation consciencieuse des preuves fournies par les investigations versées au dossier, dès lors qu'il n'a pas fait siennes les conclusions du stage d'observation professionnelle ni celles du docteur A._.
4.1 Lorsque le pouvoir d'examen est limité, le recourant ne peut critiquer les constatations de faits que si ceux-ci ont été établis de manière manifestement inexacte - notion qui correspond à celle d'arbitraire - ou en violation du droit au sens de l'<ref-law>, en particulier en violation de l'interdiction constitutionnelle de l'arbitraire. L'appréciation des preuves est arbitraire lorsqu'elle est manifestement insoutenable, en contradiction avec le dossier ou contraire au sens de la justice et de l'équité ou encore lorsque le juge a interprété les pièces du dossier de manière insoutenable, a méconnu des preuves pertinentes ou s'est fondé exclusivement sur une partie des moyens de preuve (<ref-ruling> consid. 4.3 p. 62, 120 Ia 31 consid. 4b p. 40, 118 Ia 28 consid. 1b p. 30).
En l'occurrence, les premiers juges ont indiqué les motifs pour lesquels ils ont retenu les conclusions de l'expertise du SMR. Le recourant ne dit pas en quoi ces motifs seraient arbitraires mais se contente d'affirmer que le cas doit être examiné à la lumière de rapports de l'office AI des 3 juillet et 27 novembre 2007, ainsi que de de l'avis du docteur A._, selon lesquels sa capacité de travail n'avait pu atteindre qu'un taux de 62 % avec un rendement de 35 %, respectivement un taux de 50 % avec un rendement ne dépassant pas 65 %. Ce faisant, il ne fait que substituer sa propre appréciation des preuves à celle de la juridiction cantonale, ce qui est insuffisant pour démontrer que les faits déterminants ont été établis en violation de l'interdiction de l'arbitraire.
4.2 Se plaignant d'une violation de l'<ref-law>, le recourant estime qu'entre le moment où la décision d'octroi d'une rente entière a été rendue (soit le 21 mai 1999) et celui de la décision attaquée (11 avril 2008), son état de santé ne s'est pas amélioré.
Dans les cas de révision du droit à la rente, au sens de l'<ref-law>, l'autorité administrative ou de recours doit comparer les circonstances existant au moment de la nouvelle décision avec celles prévalant lors de la dernière décision entrée en force, reposant sur un examen matériel du droit (<ref-ruling>), pour déterminer si une modification notable du degré d'invalidité justifiant la révision du droit en question est intervenue. En comparant les situations prévalant lors des décisions des 27 avril 2006 (dernière décision entrée en force, reposant sur un examen matériel du droit) et 11 avril 2008 (nouvelle décision), les premiers juges ont appliqué correctement le droit fédéral et la jurisprudence précitée.
4.3 Le recourant reproche encore à l'office AI et aux premiers juges de ne pas avoir indiqué dans quels secteurs d'activité il pourrait encore concrètement mettre en valeur sa capacité de travail résiduelle, compte tenu notamment de son handicap et de son âge.
D'un point de vue médical, le SMR a considéré que le recourant était en mesure de reprendre l'exercice d'une activité adaptée à 70 %. Par conséquent, le recourant est théoriquement en mesure d'exercer l'activité dans laquelle il a bénéficié d'une formation à la charge de l'assurance-invalidité et les difficultés ressenties par ce dernier durant sa formation ne sont pas directement imputables à son état de santé. Par ailleurs, il convient d'admettre que le marché du travail offre un éventail suffisamment large d'activités légères, dont on doit convenir qu'un nombre significatif sont adaptées aux limitations du recourant et accessibles sans aucune formation particulière. On rappellera au demeurant qu'il n'y a pas lieu d'examiner dans quelle mesure la situation concrète du marché du travail permettrait au recourant de retrouver un emploi. Cela étant, la juridiction cantonale n'a pas violé le droit fédéral en se référant - en l'absence d'un revenu effectivement réalisé - aux données salariales publiées par l'Office fédéral de la statistique, singulièrement au salaire auquel peuvent prétendre les hommes effectuant des activités simples et répétitives (niveau de qualification 4) dans le secteur privé. En procédant de surcroît à un abattement de 20 % sur le revenu d'invalide, les premiers juges ont tenu équitablement compte des circonstances personnelles et professionnelles du cas particulier (limitations liées au handicap, âge, années de service, nationalité/catégorie d'autorisation de séjour et taux d'occupation; cf. <ref-ruling> consid. 5b/aa-cc p. 79 s.).
Le jugement entrepris n'est dès lors pas critiquable et le recours se révèle mal fondé.
5. Le recourant, qui succombe, supportera les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties, au Tribunal cantonal de la République et canton du Jura, Chambre des assurances, et à l'Office fédéral des assurances sociales.
Lucerne, le 28 septembre 2010
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: La Greffière:
Meyer Fretz Perrin