Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- a) Im kantonalen Entscheid sind die massgebenden gesetzlichen Bestimmungen über den Anspruch auf eine Kinderrente (<ref-law>) und über deren Auszahlung an Dritte (<ref-law>) zutreffend dargelegt. Darauf wird verwiesen.
b) Zu ergänzen ist, dass die unter alt <ref-law> (in der bis 31. Dezember 1996 gültig gewesenen Fassung) ergangene Rechtsprechung weiterhin massgebend bleibt, da der Bundesrat bisher von der Befugnis, ergänzende Vorschriften für die Auszahlung zu erlassen (<ref-law>) keinen Gebrauch gemacht hat (SVR 2000 IV Nr. 22 S. 66 Erw. 1a sowie Urteil R. vom 14. April 2000 [I 425/99]).
Demgemäss hat das Eidgenössische Versicherungsgericht mit Blick auf den gesetzlichen Zweck der Kinderrente, wonach diese ausschliesslich für den Unterhalt und die Erziehung des Kindes zu verwenden ist, ergänzende Regeln zu den Bestimmungen über die zweckmässige Rentenverwendung (<ref-law> in Verbindung mit <ref-law> sowie <ref-law> und <ref-law>) aufgestellt. Eine Auszahlung an die getrennt lebende oder geschiedene Mutter ist somit zulässig, sofern diese die elterliche Gewalt innehat, das Kind nicht beim rentenberechtigten Vater wohnt und sich dessen Unterhaltspflicht in einem Kostenbeitrag erschöpft; was zu bejahen ist, wenn die in Anhang III veröffentlichten Ansätze für den Unterhaltsbedarf von Kindern der vom BSV herausgegebenen Wegleitung über die Renten (RWL) nicht erreicht werden (SVR 1999 IV Nr. 2 S. 6 Erw. 2a; vgl. auch <ref-ruling>, Urteil L. vom 7. August 2001, I 245/01).
2.- Streitig und zu prüfen ist die Rechtmässigkeit der Kinderrente von A._ sowie die Zulässigkeit der angeordneten Rentenauszahlung an dessen Mutter.
a) Wie die Vorinstanz zutreffend erkannt hat, steht der Anspruch auf eine Kinderrente aufgrund der mit Entscheid vom 10. Januar 1995 durch das Zivilgericht des Kantons Basel-Stadt festgestellten und letztinstanzlich vom Bundesgericht mit Urteil vom 6. März 1997 bestätigten Vaterschaft des Beschwerdeführers fest.
b) aa) Da es bei Streitigkeiten über den Auszahlungsmodus nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen handelt, hat das Eidgenössische Versicherungsgericht nur zu prüfen, ob das vorinstanzliche Gericht Bundesrecht verletzt hat, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt worden ist (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
bb) Die Rekurskommission kam richtigerweise zum Schluss, dass die Voraussetzungen für die Auszahlung der Kinderrente an die getrennt vom Versicherten in Jugoslawien lebende Mutter des Kindes klar erfüllt sind. Was hiegegen in der Verwaltungsgerichtsbeschwerde vorgebracht wird, lässt die tatsächlichen Feststellungen der Vorinstanz weder als mangelhaft im Sinne von Art. 105 Abs. 2 OG noch die rechtliche Würdigung als bundesrechtswidrig erscheinen.
Die Mutter des Kindes besitzt die elterliche Gewalt und dieses wohnt auch nicht beim rentenberechtigten Vater.
Weiter ist mit der Vorinstanz festzustellen, dass sich seine zivilgerichtlich verfügte indexierte Unterhaltspflicht von Fr. 350.- monatlich in einem Kostenbeitrag erschöpft (vgl. Anhang III der RWL, wonach im Jahr 2001 der Betrag von Fr. 1399.- für ein einzelnes Kind vom 7. bis
12. Altersjahr galt). Am Anspruch der Mutter auf Auszahlung der Rente ändert auch nichts, dass sie mit dem Beschwerdeführer nicht verheiratet war. Die hinsichtlich der Auszahlung der Kinderrente an die Mutter bei getrennter oder geschiedener Ehe entwickelten Regeln gelten rechtsprechungsgemäss auch, wenn die Eltern nicht verheiratet sind und die elterliche Gewalt der Mutter zukommt (Urteil R. vom 14. April 2000, I 425/99).
3.- Praxisgemäss sind für das vorliegende Verfahren keine Gerichtskosten zu erheben (SVR 2002 IV Nr. 5 S. 11 mit Hinweisen).
4.- Da die Verwaltungsgerichtsbeschwerde offensichtlich unbegründet ist, wird sie im Verfahren nach Art. 36a OG erledigt.

Demnach erkennt das Eidg. Versicherungsgericht:
I.Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
II.Es werden keine Gerichtskosten erhoben.
III. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht Basel-Stadt, der Schweizerischen Ausgleichskasse, dem Bundesamt für Sozialversicherung,
der IV-Stelle Basel-Stadt, der Ausgleichskasse Basel- Stadt und B._ zugestellt.
Luzern, 9. April 2002
Im Namen des
Eidgenössischen Versicherungsgerichts
Die Präsidentin der IV. Kammer:
Die Gerichtsschreiberin: