A.- a) C._ S._, née en 1908, de nationalités suisse et américaine, était bénéficiaire d'unerente AVS versée par la Caisse interprofessionnelle neuchâteloise de compensation pour l'industrie, le commerce et les arts et métiers (ci-après : la caisse). Elle a été mise sous curatelle volontaire par l'autorité tutélaire du district de B._ (ci-après : l'autorité tutélaire). Me H._, notaire à B._, a été désigné en qualité de curateur. Le 6 août 1996, C._ S._ a quitté la Suisse pour les Etats-Unis, afin d'aller y vivre auprès de l'un de ses fils, D._ S._. A la suite d'une requête demandant la mainlevée de sa curatelle, l'autorité tutélaire a, par jugement du 6 décembre 1996, maintenu la curatelle et instauré une curatelle de gestion à l'égard des biens situés en Suisse tout en chargeant Me H._ de cette nouvelle tâche. En sa qualité de curateur, ce dernier percevait la rente AVS de C._ S._, payait les factures à charge de celle-ci et lui versait le solde aux Etats-Unis, malgré diverses démarches de D._ S._ auprès de la caisse visant à obtenir le paiement direct de la rente AVS à sa mère. La caisse, ayant reçu du fils de l'assurée deux certificats de vie la concernant, datés du 21 septembre 1998 et du 17 septembre 1999, - qui se sont avérés faux par la suite - a régulièrement versé la rente AVS à son curateur jusqu'au 30 avril 2000. b) Par lettre du Consulat général de Suisse à Houston du 11 juillet 2000, Me H._ a été informé que C._ S._ était décédée le 5 septembre 1997 à E._. Par décision du 31 octobre 2000, la caisse a demandé à D._ S._ la restitution d'un montant de 57 496 fr. 45 à titre de rentes AVS, versées en faveur de C._ S._, qu'il avait perçues à tort durant la période du 1er octobre 1997 au 30 avril 2000, en dissimulant le décès de sa mère par la production de faux "certificats de vie". De plus, elle l'a informé qu'en cas de non remboursement du montant en question dans le délai imparti, elle demanderait la compensation de sa créance avec la rente AVS qui lui était due personnellement. Une décision de restitution portant sur un montant de 4513 fr. 55 a été adressée le même jour à Me H._ pour les sommes qu'il n'avait pas reversées à C._ S._. Celui-ci a par la suite payé le montant réclamé, ce qui a rendu sans objet la procédure ouverte à son encontre. B.- D._ S._ a recouru contre la décision de la caisse du 31 octobre 2000. Il a fait valoir, après établissement d'un décompte, que les sommes perçues indûment étaient éteintes par compensation avec deux montants dont un devait lui être remboursé par le curateur et l'autre par le Président de l'autorité tutélaire. D._ S._ a admis avoir triché et a précisé qu'il devait reprendre "à l'ennemi" tout ce dont il s'estimait indûment spolié. Il n'a pas contesté son obligation de restituer mais s'est opposé à la compensation avec sa propre rente AVS. Par jugement du 9 juillet 2001, la Commission fédérale de recours en matière d'assurance-vieillesse, survivants et invalidité pour les personnes résidant à l'étranger (ci-après : la commission) a admis partiellement le recours, en ce sens que la décision de compenser les montants indûment touchés avec la propre rente AVS de D._ S._ est annulée, car elle ne respecte pas la procédure prévue à cet effet, ni le droit d'être entendu de ce dernier. La commission a rejeté le recours pour le surplus et confirmé l'obligation de restitution. C.- D._ S._ interjette recours de droit administratif contre ce jugement dont il demande implicitement l'annulation. Il conclut à ce qu'il soit constaté qu'il n'est pas tenu de restituer les rentes versées après le décès de sa mère. La caisse conclut au rejet du recours. R._ S._, frère du recourant, a renoncé à se déterminer. L'Office fédéral des assurances sociales a également renoncé à se déterminer.