Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Die kantonale Rekurskommission hat die gesetzlichen Bestimmungen für den Anspruch auf eine Invalidenrente (Art. 28 Abs. 1, 1bis und 2 IVG) und zum Vorgehen der Verwaltung bei einer Neuanmeldung (Art. 87 Abs. 3 und 4 IVV) sowie die hiezu ergangene Rechtsprechung zutreffend dargelegt.
Darauf wird verwiesen.
2.- a) Im Urteil vom 12. März 1999 hat das Eidgenössische Versicherungsgericht den Anspruch auf eine Rente gestützt auf Berichte des Hausarztes Dr. med. K._, Spezialarzt FMH für Innere Medizin, speziell Rheumaerkrankungen, vom 18. Mai 1995 und 25. Februar 1997 sowie einen Bericht der Rheumatologischen Klinik X._ vom 24. Februar 1994 verneint, wonach in für den Rücken nicht belastenden Tätigkeiten eine volle Arbeitsfähigkeit bestehe.
Der hierauf durchgeführte Einkommensvergleich hatte keinen Invaliditätsgrad in rentenberechtigendem Ausmass ergeben.
b) Im Rahmen des zweiten Leistungsgesuchs holte die IV-Stelle einen Bericht von Dr. K._ vom 3. März 2000 ein, laut welchem sich seit dem letzten Bericht vom Februar 1997 an den somatischen Beschwerden wenig geändert habe.
Entscheidend verschlechtert habe sich hingegen die psychische Fixierung auf das Beschwerdebild, welche dem Patienten keinen Spielraum mehr lasse, seine Situation mit eigenen Aktivitäten zu verbessern. Diese Fehlentwicklung sei Ausdruck eines psychischen Leidens, weshalb Dr. K._ "glaube", dass "diesbezüglich" eine rentenbegründende Invalidität bestehe. Die IV-Stelle liess hierauf bei Dr.
med. F._, FMH Psychiatrie und Psychotherapie, ein Gutachten vom 16. Mai 2000 einholen. Gemäss dieser Expertise hat sich aus psychiatrischer Sicht keine nennenswerte Änderung des Zustandes ergeben, fanden sich doch insbesondere keine objektivierbaren Befunde, die auf eine Depression oder Psychose hindeuten würden. Auch die subjektiven Angaben des Beschwerdeführers seien zu gering, um für die Diagnose einer Depression zu genügen. Neben der somatoformen Schmerzstörung, die sich objektiv nicht in dem vom Versicherten geltend gemachten Ausmass bestätigen lasse, lägen keine weiteren relevanten psychopathologischen Befunde vor.
Aus psychiatrischer Sicht sei es dem Beschwerdeführer sicher zuzumuten, ganztags einer körperlich leichten Tätigkeit nachzugehen, weshalb keine Arbeitsunfähigkeit attestiert werden könne.
c) Dass sich die somatischen Leiden nicht verändert haben, ist unbestritten. Hinsichtlich der psychischen Beschwerden war Dr. K._ als Spezialarzt für Rheumaerkrankungen nicht in der Lage, eine abschliessende Beurteilung abzugeben. Dr. F._ als Facharzt für psychische Krankheiten hingegen erachtet den Beschwerdeführer aus psychiatrischer Sicht als in einer geeigneten Tätigkeit voll arbeitsfähig. Diese Angaben des Facharztes sind massgebend.
Sein Gutachten beruht auf der Kenntnis der Vorakten und einer eingehenden Untersuchung des Beschwerdeführers, ist nachvollziehbar und in seinen Schlussfolgerungen überzeugend.
Die dagegen erhobene Kritik stösst ins Leere. Insbesondere ist Dr. F._ kein "Vertrauensarzt" der IV-Stelle. Nachdem der Beschwerdeführer freiwillig auf einen Dolmetscher verzichtet hat und trotzdem eine umfassende Untersuchung möglich war, bedarf es keiner weiteren medizinischen Abklärungen. Die IV-Stelle hat den Rentenanspruch zu Recht verneint.
3.- Da die Verwaltungsgerichtsbeschwerde offensichtlich unbegründet ist, wird sie im Verfahren nach Art. 36a OG erledigt. Das Gesuch um unentgeltliche Verbeiständung ist wegen Aussichtslosigkeit (<ref-ruling> Erw. 4b) abzuweisen.

Demnach erkennt das Eidg. Versicherungsgericht:
I.Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
II.Es werden keine Gerichtskosten erhoben.
III. Das Gesuch um unentgeltliche Verbeiständung wird abgewiesen.
IV.Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht Basel-Stadt, der Ausgleichskasse Basel- Stadt und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 17. April 2002
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der II. Kammer:
Der Gerichtsschreiber: