A.- A._et B._ se sont mariés en 1957. De leur union est née une fille, C._, en 1964. Le 1er mars 1995, ayant atteint l'âge de la retraite, B._ a été mise au bénéfice d'une rente de vieillesse mensuelle de 1197 fr. Par décision du 2 août 2000, la Caisse d'assurance-vieillesse et survivants de la Fédération patronale vaudoise (ci-après : la caisse) a fixé à 1495 fr. par mois, dès le 1er août 2000, le montant de la rente de vieillesse due à A._, en fonction d'un revenu annuel de 65 124 fr. et de l'échelle de rente 44. Par décision du même jour, la caisse a remplacé, avec effet également au 1er août 2000, la rente servie jusque-là à B._ par une nouvelle rente de vieillesse de 1520 fr., en se fondant sur un revenu annuel de 67 536 fr. et une échelle de rente 44. Ces prestations ont été calculées selon les nouvelles dispositions introduites par la 10ème révision de l'AVS, entrées en vigueur le 1er janvier 1997. B.- Saisie d'un recours contre ces décisions, la Commission cantonale genevoise de recours en matière d'assurance-vieillesse, survivants et invalidité (ci-après : la commission) l'a rejeté par jugement du 4 décembre 2000. C.- A._ et B._ interjettent recours de droit administratif contre ce jugement, en concluant au versement de rentes de vieillesse totalisant un montant de 3860 fr. par mois. La caisse conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales ne s'est pas déterminé.