A.- Par décision du 18 juin 1999, la Caisse de compensation de l'Industrie suisse des machines (la caisse) a alloué dès le 1er juillet 1999 à C._, une rente partielle de vieillesse, fondée sur l'échelle 42, qui succédait à une rente d'invalidité, et dont le montant, calculé sur les bases de cette dernière, a été plafonné en fonction du montant de la rente de l'assurance-invalidité dont bénéficiait son épouse. Selon la caisse, la durée de cotisation antérieure à 1960 avait dû être déterminée au moyen des tables établies par l'Office fédéral des assurances sociales (OFAS) pour les années 1948 à 1968.
Elle a ainsi pris en compte 33 mois de cotisation pour les années 1956 à 1959.
B.- C._ a recouru contre cette décision devant la Chambre des assurances du Tribunal cantonal du canton du Jura qui, après avoir ordonné diverses mesures d'instruction, l'a débouté par jugement du 17 septembre 2001.
La Cour cantonale a retenu que l'assuré avait eu en Suisse le statut de saisonnier de 1955 à 1959, puis des autorisations de séjour annuelles à partir du 29 février 1960, enfin une autorisation d'établissement dès le 1er mars 1970. Les juges cantonaux ont considéré que les preuves administrées ne permettaient pas d'admettre que l'assuré avait cotisé en 1955, mais que cette lacune devait être compensée à concurrence de 6 mois en fonction de ses années entières de cotisation, et que l'application de la procédure simplifiée pour les années 1956 à 1959 était justifiée, les périodes de cotisation afférentes à ces années n'ayant pas pu être déterminées avec exactitude. Ils ont estimé que la rectification relative à l'année 1955 ne conduisait pas à une modification du calcul de rente effectué par la caisse.
C.- C._ interjette recours de droit administratif contre ce jugement dont il demande l'annulation, sous suite de frais et dépens, en concluant à l'octroi en sa faveur d'une rente de vieillesse fondée sur l'échelle 44, subsidiairement au renvoi de la cause à l'instance cantonale.
Selon le recourant, il faut déduire du dernier extrait de son compte individuel produit dans la procédure cantonale et du temps de validité des permis saisonniers dont il a bénéficié en Suisse entre 1956 et 1959 que la durée de cotisation pendant cette période s'est élevée à 40 mois. Il soutient au demeurant que les éventuelles lacunes de cotisations dans ces années-là peuvent être compensées au même titre que celle de l'année 1955.
La caisse conclut au rejet du recours.
L'OFAS n'a pas présenté de détermination.

Considérant en droit :
1.- a) Dans la procédure de recours concernant l'octroi ou le refus de prestations d'assurance, le pouvoir d'examen du Tribunal fédéral des assurances n'est pas limité à la violation du droit fédéral - y compris l'excès et l'abus du pouvoir d'appréciation - mais s'étend également à l'opportunité de la décision attaquée. Le tribunal n'est alors pas lié par l'état de fait constaté par la juridiction inférieure, et il peut s'écarter des conclusions des parties à l'avantage ou au détriment de celles-ci (art. 132 OJ).
b) En l'espèce, le litige porte sur le montant de la rente de vieillesse à mesure que celui-ci dépend de la durée de cotisations du recourant pendant les années 1956 à 1959. La Cour de céans peut donc examiner librement l'exactitude du compte individuel de l'assuré (<ref-ruling> consid. 1).
2.- a) Aux termes de l'<ref-law>, lorsqu'il n'est pas demandé d'extrait de compte, que l'exactitude d'un extrait de compte n'est pas contestée ou qu'une réclamation a été écartée, la rectification des inscriptions ne peut être exigée, lors de la réalisation du risque assuré, que si l'inexactitude des inscriptions est manifeste ou si elle a été pleinement prouvée.
Selon la jurisprudence, des motifs de sécurité juridique exigent de se montrer strict en matière d'appréciation des preuves et d'appliquer la règle de l'<ref-law> lorsqu'un assuré affirme avoir exercé une activité lucrative soumise à cotisations paritaires durant une période non prise en compte dans le calcul de la rente (cf.
ATF 107 V 12 s. consid. 2a).
La règle en matière de preuve posée à l'<ref-law> n'exclut pas l'application du principe inquisitoire; la preuve absolue doit être fournie selon les règles usuelles sur l'administration des preuves et le fardeau de la preuve qui prévalent dans l'assurance sociale, l'obligation de collaborer de la partie intéressée étant toutefois plus étendue dans ce cas (<ref-ruling> s.v.)
b) En outre, selon la jurisprudence, les périodes de cotisation antérieures à 1969 d'une personne qui n'avait pas son domicile en Suisse - ce qui est généralement le cas en principe des travailleurs saisonniers (<ref-ruling> consid. 3b et les références) - doivent être fixées exclusivement sur la base des tables AVS/AI de l'OFAS pour la détermination de la durée présumable de cotisation des années 1948-1968 (<ref-ruling> consid. 3b). L'usage desdites tables est obligatoire hormis le cas où la durée du travail peut être établie sans équivoque à partir de pièces telles que des attestations de travail, décomptes de salaire ou autres documents de l'employeur (RDAT 1999 II 64 239; arrêts non publiés L. du 13 décembre 2000 [H 161/00], S.C. du 22 mai 1995 [H 160/94]).
3.- En l'espèce, l'instruction de la cause devant la Cour cantonale a permis de recueillir, outre des renseignements de police des étrangers sur la durée des séjours en Suisse du recourant, trois extraits du compte individuel de ce dernier pour la période 1956 à 1959, produits par la Caisse de compensation du canton de Berne, datés des 7 décembre 1999, 21 mars 2000 et 8 février 2001, ainsi que les décomptes annuels des employeurs de l'assuré pour l'année 1959.
Seul le dernier en date de ces extraits du compte individuel mentionne les mois de cotisation. Le recourant veut y voir un moyen de preuve fiable pour fixer la durée de cotisation. A l'examen des autres pièces du dossier, il ne peut toutefois pas être suivi. Antérieurement au 1er janvier 1969, les inscriptions au compte individuel ne devaient indiquer que l'année de cotisation et non la durée de cotisation en mois (<ref-ruling> consid. 3a). Si l'extrait de la Caisse de compensation du canton de Berne du 7 décembre 1999 mentionne, en plus des années, les trimestres pour lesquels des cotisations ont été versées, c'est manifestement au regard des décomptes annuels déposés par les différents employeurs de l'intéressé dont l'extrait du 21 mars 2000 ne fait que préciser les noms. Ces décomptes annuels indiquaient en effet le salaire soumis à cotisation versé à l'assuré par trimestre, sans plus de précision, ainsi que cela ressort des pièces recueillies pour l'année 1959. Aucun document susceptible de fournir d'autres détails sur les périodes de travail de l'assuré n'a pu être produit par la caisse de compensation en question, quand bien même la Cour cantonale en avait fait la demande expresse.
De toute évidence, comme l'ont retenu les juges cantonaux, l'extrait du 8 février 2001 n'indique rien d'autre que la durée de cotisation en trimestres, même si ceux-ci figurent sous la rubrique réservée aux mois de cotisation.
Par ailleurs, le relevé des séjours en Suisse du recourant pour les années litigieuses, tel qu'il ressort des actes de la police des étrangers, ne permet pas d'établir que l'intéressé a bien exercé, pendant toute la durée de ces séjours, une activité lucrative soumise à cotisations.
Dès lors, l'usage des tables AVS/AI de l'OFAS susmentionnées, dont le recourant ne remet en cause que le principe de l'application, était en l'occurrence obligatoire.
4.- Le recourant voudrait que les lacunes de cotisation relatives aux années litigieuses soient compensées, comme l'a été celle de l'année 1955 par la Cour cantonale, en vertu de l'article 52d RAVS, selon lequel, si l'intéressé était assuré en application des articles premier ou 2 LAVS ou pouvait le devenir, on ajoute des années en fonction de ses années entières de cotisation. Il ne peut ici encore être suivi.
En effet, les étrangers qui séjournaient à l'étranger durant les années manquantes de cotisation ne peuvent bénéficier de l'amélioration instaurée par la disposition précitée (RCC 1989 p. 450). Or, si la condition de salarié en Suisse du recourant a été établie pour une certaine période de l'année 1955, il n'en est pas de même pour les années 1956 à 1959, comme cela a été démontré au considérant qui précède.
5.- Cela étant, le jugement entrepris n'est pas critiquable et le recours se révèle mal fondé.
La procédure porte sur l'octroi ou le refus de prestations d'assurance, si bien qu'elle est gratuite (art. 134 OJ). Par ailleurs, le recourant, qui succombe, ne peut prétendre de dépens (art. 159 OJ a contrario).

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est rejeté.
II. Il n'est pas perçu de frais de justice.
III. Le présent arrêt sera communiqué aux parties, à la Chambre des assurances du Tribunal cantonal du canton du Jura et à l'Office fédéral des assurances sociales.
Lucerne, le 19 février 2002
Au nom du
Tribunal fédéral des assurances
Le Président de la IIIe Chambre :
La Greffière :