A.- Le 15 septembre 2000, G._, née en 1939, au bénéfice d'une rente de l'assurance-invalidité à partir du 1er avril 2000, a demandé l'octroi de prestations complémentaires.
Par trois décisions du 18 décembre 2000, la Caisse cantonale vaudoise de compensation AVS-AI-APG (ci-après :
la caisse) a fixé le montant de la prestation complémentaire mensuelle revenant à l'assurée à 418 fr. pour les mois d'avril à septembre 2000, à 354 fr. pour le mois d'octobre 2000 et à 651 fr. pour les mois de novembre et décembre 2000.
Le 28 décembre 2000, la caisse a rendu une nouvelle décision par laquelle elle a accordé à la prénommée une prestation complémentaire mensuelle de 686 fr. à partir du 1er janvier 2001.
B.- G._ a recouru contre ces décisions devant le Tribunal des assurances du canton de Vaud, en concluant à ce que sa prestation complémentaire fût calculée sans tenir compte, dans la détermination du revenu, de certains montants alloués par la société d'assurances Winterthur-Vie à titre d'indemnités journalières et de rente en cas d'incapacité de travail qui ont été directement versés à la caisse communale de Lausanne. Par ailleurs, sa fortune, sous forme d'un compte bancaire auprès de la Banque X._, devait être évaluée à sa valeur moyenne au cours de l'année civile.
En cours de procédure, la caisse a rendu, le 29 janvier 2001, une décision fixant à 749 fr. la prestation complémentaire mensuelle à partir du 1er février 2001. Elle a en outre produit cinq plans de calcul concernant la période du 1er avril 2000 à celle prenant naissance le 1er février 2001, ayant pour conséquence une péjoration du droit aux prestations complémentaires de l'assurée dès le 1er novembre 2000 (détermination du 3 mai 2001). Il en ressortait que la prestation complémentaire pour les mois d'avril à octobre 2000 était identique à celle résultant de la décision du 18 décembre 2000. En revanche, la prestation complémentaire pour les mois de novembre et décembre 2000 devait s'élever à 642 fr. par mois, celle du mois de janvier 2001 à 655 fr. par mois, et celle pour la période prenant naissance le 1er février 2001 à 718 fr. par mois.
La détermination de la caisse a été communiquée à l'assurée.
Après avoir entendu les parties le 25 juin 2001, le Tribunal des assurances du canton de Vaud a, par jugement du même jour, rejeté le recours et réformé d'office les décisions des 18 et 28 décembre 2000 de la caisse, en fixant, pour les mois de novembre 2000 à la période prenant naissance le 1er février 2001, les montants de la prestation complémentaire selon la détermination de la caisse du 3 mai 2001.
C.- G._ interjette recours de droit administratif, qu'elle a déclaré maintenir par courrier du 26 décem- bre 2001, contre ce jugement, en concluant implicitement à son annulation.
La caisse conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.
Considérant en droit:
1.- En cours de procédure cantonale, la caisse intimée a rendu une décision relative au droit à la prestation complémentaire de la recourante pour l'année 2001 (décision du 29 janvier 2001). Dans la mesure où cette décision, rendue pendente lite, porte sur les mêmes points que ceux qui font l'objet de la procédure de recours, elle ne saurait revêtir la force matérielle d'une décision administrative, mais doit tout au plus être considérée, à l'instar des plans de calcul produits par la caisse le 3 mai 2001, comme une simple proposition au juge, faite par l'une des parties au procès (voir ATF 109 V 236 consid. 2, 103 V 109 consid. 2, VSI 1994 p. 281 consid. 4a).
2.- Le Tribunal fédéral des assurances n'étant pas lié par les motifs que les parties invoquent (art. 114 al. 1 en corrélation avec l'art. 132 OJ), il examine d'office si le jugement attaqué viole des normes de droit public fédéral ou si la juridiction de première instance a commis un excès ou un abus de son pouvoir d'appréciation (art. 104 let. a OJ). Il peut ainsi admettre ou rejeter un recours sans égard aux griefs soulevés par le recourant ou aux raisons retenues par le premier juge (ATF 125 V 500 consid. 1, 124 V 340 consid. 1b et les références).
3.- a) En réduisant le montant de la prestation complémentaire de la recourante pour les mois de novembre 2000 à la période prenant naissance le 1er février 2001, l'instance de recours cantonale a réformé les décisions litigieuses au détriment de la recourante.
b) Selon l'art. 85 al. 1 let. d LAVS, applicable par analogie à la procédure de contentieux cantonal en matière de prestations complémentaires (art. 7 al. 2 LPC), le juge n'est pas lié par les conclusions des parties. Il peut réformer au détriment du recourant la décision attaquée ou accorder plus que le recourant n'avait demandé; il doit cependant donner aux parties l'occasion de se prononcer.
Selon la jurisprudence constante, lorsqu'une autorité envisage de procéder sur recours à une reformatio in peius de la décision attaquée, elle est tenue d'avertir le recourant de son intention et lui donner l'occasion de s'exprimer (ATF 122 V 167 consid. 2a et les arrêts cités). Peu importe que cette obligation soit ou non expressément prévue par la loi; elle résulte de toute manière de la garantie constitutionnelle du droit d'être entendu (ATF 122 V 167 consid. 2a, 120 V 94 consid. 5a et les références).
Par ailleurs, dans une telle situation, la partie invitée à s'exprimer sur l'éventualité d'une réforme à son détriment de la décision entreprise doit être expressément rendue attentive à la possibilité de retirer son recours (ATF 122 V 167 consid. 2b).
c) En l'espèce, il ressort du dossier qu'avant de rendre le jugement du 25 juin 2001, le tribunal cantonal n'a pas averti la recourante de son intention de modifier les décisions administratives litigieuses à son détriment, serait-ce au cours de l'échange d'écritures ou à l'occasion de l'audience d'instruction du 25 juin 2001. Il ne lui a pas davantage donné la possibilité de retirer son recours.
Ce faisant, il a violé aussi bien l'art. 85 al. 1 let. d LAVS que les exigences découlant de l'art. 29 al. 2 Cst. au sujet du droit d'être entendu de la recourante. Par conséquent, dès lors que la violation de ce droit constitutionnel entraîne l'annulation de la décision attaquée, le jugement entrepris doit être annulé et la cause renvoyée à la juridiction cantonale pour qu'elle donne à la recourante l'occasion de se prononcer sur l'éventualité d'une reformatio in peius des décisions des 18 et 28 décembre 2000 de l'intimée, ainsi que la possibilité de retirer son recours sans frais puis, s'il y a lieu, statue à nouveau.
Par ces motifs, le Tribunal fédéral des assurances,
prononce :
I. Le recours est admis en ce sens que le jugement du 25 juin 2001 du Tribunal des assurances du canton de
Vaud est annulé, la cause étant renvoyée à ce tribunal
pour qu'il procède conformément aux considérants.
II. Il n'est pas perçu de frais de justice.
III. Le présent arrêt sera communiqué aux parties, au Tribunal des assurances du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 28 mars 2002
Au nom du
Tribunal fédéral des assurances
La Présidente de
la IVe Chambre : La Greffière :