Faits:
A. A.a G._, né en 1947, a travaillé au service de l'administration cantonale jurassienne du 1er novembre 1980 au 30 juin 2008. A ce titre, il était affilié à la Caisse de pensions de la République et canton du Jura (ci-après: la caisse). Interpellée par G._ sur le montant de l'avoir de prévoyance qu'il pouvait utiliser dans le cadre des mesures visant à l'encouragement à la propriété du logement, la caisse lui a notamment indiqué que s'il demandait un retrait anticipé de 31'062 fr. pour l'accession à la propriété du logement, le taux de pension à 62 ans resterait de 60 %, les prestations avant et après retrait (de 51'374 fr. par an) étant identiques, sans réduction de pension (courrier du 6 septembre 1996). Aucun versement n'a eu lieu à cette époque.
A.b Au cours de l'année 2007, G._ a informé la caisse qu'il allait prendre une retraite anticipée à partir du 1er juillet 2008. Le 13 juillet 2007, elle lui a transmis les données relatives au montant de sa pension de base et de la rente-pont AVS (pension totale de 6611 fr. par mois). Elle l'a également rendu attentif à la possibilité de retirer une partie des prestations vieillesse sous forme de capital. Le 29 décembre 2007, G._ a sollicité de la caisse le versement d'une partie des prestations sous forme d'un capital à hauteur de 110'000 fr., en mentionnant le décompte établi en 1996 par la caisse. Le 5 juin suivant, la caisse a informé l'intéressé qu'après réduction due au retrait d'un capital-retraite de 110'000 fr. au 30 juin 2008, la pension totale s'élèverait à 6051 fr. 25 à partir du 1er juillet 2008. A la demande de son affilié, elle a précisé son calcul le 25 juin 2008. G._ en a contesté les termes, au motif qu'il ne tenait pas compte d'une "sur-assurance" de 31'062 fr. que la caisse avait reconnue dans son courrier du 6 septembre 1996 et qui n'influençait pas la rente; la diminution de la rente ensuite du retrait en capital devait donc être moins importante et correspondre à 9,70 % ou 9,93 %. La caisse a maintenu sa position par courrier du 12 décembre 2008.
B. Le 13 janvier 2009, G._ a saisi le Tribunal cantonal de la République et canton du Jura et conclu à ce que soit reconnue "la validité du droit, communiqué en 1996, de retirer un capital de CHF 31'062.-" sans que sa retraite à l'âge de 62 ans n'en soit affectée et qu'il soit ordonné à la caisse de revoir le calcul de sa rente dans ce sens. La caisse a conclu au rejet de la demande. Statuant le 26 janvier 2010 sur la demande, la Chambre des assurances du Tribunal cantonal jurassien l'a rejetée.
C. G._ interjette un recours en matière de droit public contre ce jugement, dont il demande implicitement l'annulation, en reprenant en substance les conclusions développées en instance cantonale.
La caisse conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit:
1. Le recours en matière de droit public peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Il n'est donc limité ni par les arguments soulevés dans le recours ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (cf. <ref-ruling> consid. 1.4 p. 140). Compte tenu de l'exigence de motivation contenue à l'<ref-law>, sous peine d'irrecevabilité (<ref-law>), le Tribunal fédéral n'examine en principe que les griefs invoqués; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui. Il ne peut pas entrer en matière sur la violation d'un droit constitutionnel ou sur une question relevant du droit cantonal ou intercantonal si le grief n'a pas été invoqué et motivé de manière précise par la partie recourante (<ref-law>).
2. 2.1 Sans contester les considérations de la juridiction cantonale sur le bien-fondé de la réduction des prestations de vieillesse en raison du retrait en capital d'une partie de celle-ci, le recourant fait exclusivement valoir une violation des principes de la bonne foi et de l'égalité de traitement. Il soutient qu'il aurait reçu, le 6 septembre 1996, l'assurance de disposer d'une "réserve libre" de 31'062 fr., la "décision" de la caisse ayant créé un droit subjectif en sa faveur. Aussi, pouvait-il s'attendre à prélever un capital de 31'062 fr. au moment de partir à la retraite anticipée, sans que sa rente en fût diminuée pour autant. Il prétend, par ailleurs, qu'il serait victime d'une inégalité de traitement par rapport à un hypothétique frère jumeau qui aurait obtenu le versement de la "réserve libre" pour l'acquisition d'un immeuble et toucherait, au moment de la retraite anticipée, un capital-retraite de 141'062 fr. (à savoir 110'000 fr. + 31'062 fr.).
2.2 Comme l'a retenu à juste titre la juridiction cantonale, les conditions obligeant l'administration, en vertu du droit à la protection de la bonne foi, à consentir à un administré un avantage contraire à la loi - dont le jugement entrepris expose correctement la teneur (consid. 6.1), si bien qu'il suffit d'y renvoyer - ne sont pas réalisées.
En premier lieu, on ne voit pas que l'intimée ait fourni au recourant en septembre 1996 un renseignement ou une promesse qui permettrait d'exiger d'elle qu'elle accorde à son affilié un avantage indu. Dans le courrier du 6 septembre 1996, la caisse a exposé à son affilié les conditions et les modalités d'un versement anticipé dans le cadre de l'encouragement à la propriété du logement, en le rendant attentif, en particulier, au fait que s'il demandait un versement anticipé de 31'062 fr. pour l'accession à la propriété du logement, son "taux de pension" resterait de 60 % à 62 ans. On ne saurait voir dans ce courrier, pas plus que dans le récapitulatif y relatif qui comporte une rubrique "Réserve libre", la promesse ou l'assurance que le recourant pouvait en tous les cas obtenir le versement anticipé d'un montant de 31'062 fr. au moment de sa retraite, sans que sa rente en fût influencée. Les renseignements donnés par la caisse en septembre 1996 concernaient uniquement la situation en cas de versement anticipé en vue de l'acquisition de la propriété d'un logement au sens des <ref-law> à l'époque de la demande y relative du recourant. Ils ne portaient pas - et ne sauraient être compris en ce sens, comme prétendu en vain - sur une quelconque garantie liée à tout versement anticipé autorisé par la loi, singulièrement le versement d'une partie des prestations de vieillesse sous la forme d'une prestation en capital, dont les conditions sont différentes de celles régissant le versement anticipé dont il était question en 1996.
En second lieu, comme l'ont relevé à juste titre les premiers juges, la loi a changé depuis le moment où les renseignements invoqués par le recourant ont été donnés, puisque la possibilité de retirer en capital une partie des prestations de vieillesse a été prévue seulement avec la modification de l'<ref-law> au 1er janvier 2005 (1ère révision LPP). Les prétendues assurances données par la caisse en septembre 1996 ne pouvaient donc porter sur un retrait sous forme de capital qui n'existait pas encore à ce moment-là. C'est en vain à cet égard que le recourant invoque l'<ref-law>, puisque cette disposition n'est pas applicable à sa situation. De même, la référence qu'il fait à la situation jugée par un arrêt publié aux <ref-ruling> ne lui est d'aucun secours, dès lors que contrairement au cas d'espèce, le Tribunal fédéral avait alors jugé que les conditions de la protection de la bonne foi étaient réalisées.
Enfin, il n'apparaît pas que le recourant se soit fondé sur les assurances dont il se prévaut pour prendre des dispositions auxquelles il ne saurait renoncer sans subir de préjudice. Il ne le prétend du reste pas, mais explique dans son recours avoir décidé d'anticiper sa retraite en raison du "contexte difficile qui résult[ait d'une] réorganisation [de l'unité administrative qu'il dirigeait] imposée".
2.3 Quant au moyen tiré d'une prétendue violation du principe de l'égalité de traitement, il n'est pas davantage fondé. Dès lors que l'assuré hypothétique avec lequel le recourant se compare aurait, dans son exemple, demandé et obtenu un versement anticipé dans le cadre de l'encouragement à la propriété du logement, les deux situations envisagées ne sont pas semblables. Au demeurant, son argumentation repose sur de pures conjectures quant à la manière dont son "frère jumeau" aurait été traité.
2.4 En conséquence de ce qui précède, le recours est mal fondé.
3. Compte tenu de l'issue de la procédure, le recourant doit supporter les frais judiciaires y afférents (<ref-law>). Même si elle obtient gain de cause, l'intimée n'a pas droit à des dépens, ceux-ci n'étant pas alloués aux organisations chargées de tâches de droit public (<ref-law>; cf. <ref-ruling> consid. 4a p. 150).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties, au Tribunal cantonal de la République et canton du Jura, Chambre des assurances, et à l'Office fédéral des assurances sociales.
Lucerne, le 3 août 2010
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Juge présidant: La Greffière:
Borella Moser