A.- A._et B._ se sont mariés en 1957. De leur union est née une fille, C._, en 1964. Le 1er mars 1995, ayant atteint l'âge de la retraite, B._ a été mise au bénéfice d'une rente de vieillesse mensuelle de 1197 fr.
Par décision du 2 août 2000, la Caisse d'assurance-vieillesse et survivants de la Fédération patronale vaudoise (ci-après : la caisse) a fixé à 1495 fr. par mois, dès le 1er août 2000, le montant de la rente de vieillesse due à A._, en fonction d'un revenu annuel de 65 124 fr. et de l'échelle de rente 44. Par décision du même jour, la caisse a remplacé, avec effet également au 1er août 2000, la rente servie jusque-là à B._ par une nouvelle rente de vieillesse de 1520 fr., en se fondant sur un revenu annuel de 67 536 fr. et une échelle de rente 44. Ces prestations ont été calculées selon les nouvelles dispositions introduites par la 10ème révision de l'AVS, entrées en vigueur le 1er janvier 1997.
B.- Saisie d'un recours contre ces décisions, la Commission cantonale genevoise de recours en matière d'assurance-vieillesse, survivants et invalidité (ci-après : la commission) l'a rejeté par jugement du 4 décembre 2000.
C.- A._ et B._ interjettent recours de droit administratif contre ce jugement, en concluant au versement de rentes de vieillesse totalisant un montant de 3860 fr. par mois.
La caisse conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales ne s'est pas déterminé.

Considérant en droit :
1.- Le jugement entrepris expose de manière exacte et complète les dispositions légales applicables au présent cas. Il suffit donc d'y renvoyer.
2.- Les recourants ne critiquent pas les bases du calcul (échelle de rente et revenu annuel) en tant que tels des rentes ordinaires simples de vieillesse fixées par la caisse et confirmées par les premiers juges. Ils contestent uniquement l'institution d'un système de plafonnement des prestations versées aux couples et considèrent avoir droit à 3860 fr. par mois, montant correspondant à la somme de leurs rentes individuelles respectives.
3.- Il est vrai que d'après les principes applicables au calcul des rentes ordinaires (art. 29bis à 33ter LAVS), A._ aurait droit à une rente mensuelle de 1914 fr.
et son épouse B._, de 1946 fr.
Toutefois, lorsque deux époux ont droit à une rente, l'<ref-law> dispose que la somme des deux rentes pour un couple ne peut s'élever à plus de 150 % du montant maximum de la rente de vieillesse. Si tel est le cas, les deux rentes doivent alors être réduites en proportion de leur quote-part à la somme des rentes non réduites (<ref-law>). Par l'adoption de cet article, le législateur a voulu limiter les avantages que certaines catégories de rentiers peuvent tirer du système dit du "splitting" prévu à l'<ref-law> (FF 1990 II 28).
Au moment déterminant, le montant maximum de la rente mensuelle de vieillesse était de 3015 fr. (150 % de 2010 fr.; cf. <ref-law> en relation avec l'art. 1er de l'Ordonnance 99 sur les adaptations à l'évolution des prix et des salaires dans le régime de l'AVS et de l'AI [RO 1998 2586]). Dès lors que la somme des deux rentes simples dues aux époux A._ et B._ excédait ce montant, c'est à bon droit que la caisse a procédé à leur réduction en application de l'<ref-law> - disposition dont la Cour de céans ne saurait s'écarter, contrairement à ce que voudraient les recourants, étant tenue d'appliquer les lois fédérales (art. 191 Cst. ; cf.
art. 113 al. 3 et 114bis al. 3 aCst. ; RAMA 2000 no KV 118 p. 152 consid. 2a).
Manifestement mal fondé, le recours ne peut qu'être rejeté.

Par ces motifs, le Tribunal fédéral des assurances,
vu l'art. 36a OJ,
prononce :
I. Le recours est rejeté.
II. Il n'est pas perçu de frais de justice.
III. Le présent arrêt sera communiqué aux parties, à la Commission cantonale genevoise de recours en matière d'assurance-vieillesse, survivants et invalidité, et à
l'Office fédéral des assurances sociales.
Lucerne, le 31 mai 2001
Au nom du
Tribunal fédéral des assurances
Le Président de la IIIe Chambre :
La Greffière :