Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Vorliegend ist unbestritten, dass der Beschwerdeführer auf Grund seiner physischen und psychischen Beschwerden Anspruch auf eine ganze Invalidenrente hat.
Streitig und zu prüfen bleibt einzig, ob der Zeitpunkt, ab dem der Anspruch zu laufen beginnt, über das von der Invalidenversicherung anerkannte Datum vom 1. Mai 1993 zurück reicht.
2.- a) Die kantonale Rekurskommission hat die gesetzliche Ordnung über den Beginn des Rentenanspruchs (Art. 29 IVG) zutreffend dargelegt. Richtig sind auch die Erwägungen über die Beweiswürdigung ärztlicher Berichte (<ref-ruling> ff. Erw. 3 mit Hinweisen). Darauf kann verwiesen werden.
b) Zu ergänzen ist, dass der Versicherte nach der Rechtsprechung zu Art. 46 IVG mit der Anmeldung bei der zuständigen IV-Stelle grundsätzlich alle seine zu diesem Zeitpunkt gegenüber der Invalidenversicherung bestehenden Leistungsansprüche wahrt, auch wenn er diese im Anmeldeformular nicht im Einzelnen angibt. Dieser Grundsatz findet nicht Anwendung auf Leistungen, die in keinem Zusammenhang mit dem sich aus den Angaben des Versicherten ausdrücklich oder sinngemäss ergebenden Begehren stehen und für die auch keinerlei aktenmässige Anhaltspunkte die Annahme erlauben, sie könnten ebenfalls in Betracht fallen. Denn die Abklärungspflicht der Verwaltung erstreckt sich nicht auf alle überhaupt möglichen Leistungsansprüche, sondern nur auf die vernünftigerweise mit dem vorgetragenen Sachverhalt und allfälligen bisherigen oder neuen Akten im Zusammenhang stehenden Leistungen. Macht der Versicherte später geltend, er habe abgesehen von der verfügungsmässig zugesprochenen bzw. verweigerten Leistung noch Anspruch auf eine andere Versicherungsleistung und er habe sich hiefür rechtsgültig angemeldet, so ist nach den gesamten Umständen des Einzelfalles im Lichte des Grundsatzes von Treu und Glauben zu prüfen, ob jene frühere ungenaue Anmeldung auch den zweiten, allenfalls später substanziierten Anspruch umfasst (AHI-Praxis 1997 S. 190 Erw. 2a mit Hinweisen; siehe auch <ref-ruling> f. Erw. 2).
3.- a) Nach dieser konstanten, im Jahre 1962 begründeten Rechtsprechung (EVGE 1962 S. 345 Erw. 2) hat der Beschwerdeführer mit der ersten Anmeldung vom 10. April 1991 grundsätzlich auch seinen Anspruch auf Rente gewahrt, selbst wenn er im Anmeldeformular eine solche nicht anbegehrt hat. Da die Verfügung vom 10. September 1992 nur über das Umschulungsbegehren rechtskräftig entschieden hat, stellt sich vorliegend die Frage, ob die Verwaltung auch den Rentenanspruch hätte prüfen müssen, nachdem der Versicherte die Umschulung ohne stichhaltigen Grund abgebrochen hatte.
b) Die Akten aus der Zeit vor Erlass der Verfügung vom 10. September 1992 enthalten keinerlei Anhaltspunkte, welche die Verwaltung hätte veranlassen müssen, auch noch den Rentenanspruch des Versicherten zu überprüfen. Aus somatischer Sicht bestand zwar im damals ausgeübten Beruf als Sanitär-Installateur eine Arbeitsunfähigkeit von 80 %. In einer leichten körperlichen Tätigkeit, ohne Heben von schweren Lasten (maximal 5 bis 10 kg) mit möglichst wechselnder Position (Sitzen, Stehen, Laufen), war der Beschwerdeführer hingegen voll arbeitsfähig (Gutachten der Rheumatologischen Klinik X._ vom 4. Juli 1991). Aus psychischer Sicht finden sich in sämtlichen ärztlichen Berichten aus dem Jahre 1990 und bis Herbst 1991 keinerlei Hinweise für einen auffälligen seelischen Zustand des Beschwerdeführers. Erst im Bericht der Orthopädischen Klinik X._ vom 2. September 1991 wird festgehalten, dass der Patient einen depressiven Eindruck gemacht habe. Gemäss dem von der Vorinstanz in Auftrag gegebenen psychiatrischen Gutachten vom 25. Februar 1998 kann aber daraus nicht auf das Vorliegen einer relevanten depressiven Dekompensation geschlossen werden, da der Beschwerdeführer in der Folge eine Art Praktikum in einer Küchenbaufirma selbstständig organisiert (gemeint ist die begonnene Umschulung) und noch im April 1992 eine Ferienreise unternommen hatte, was beides in einem depressiven Zustand kaum möglich gewesen wäre. Der Gutachter Dr. med. F._ führt des Weiteren aus, dass mit grosser Wahrscheinlichkeit auf Grund der Angaben des Beschwerdeführers selbst erst im Juli 1992 ein relevantes psychisches Leiden aufgetreten ist, welches eine zumindest zeitweise oder teilweise Arbeitsunfähigkeit hätte begründen können. Eine genaue Abschätzung der Arbeitsfähigkeit in dieser Zeit sei aber nicht möglich.
c) In Anbetracht dieser Sachlage kann der Verwaltung nicht vorgeworfen werden, sie habe ihre Abklärungspflicht verletzt, weil sie dem im Bericht der Orthopädischen Klinik X._ enthaltenen Hinweis, der Patient mache einen depressiven Eindruck, nicht nachgegangen ist. Die Vorinstanz ist somit zu Recht zum Schluss gelangt, dass es im vorliegenden Fall an einem Beweis für einen früheren Beginn des Rentenanspruchs des Beschwerdeführers, als er von der IV-Stelle anerkannt worden ist, fehlt. Daran vermögen die, grösstenteils bereits bei der Vorinstanz vorgebrachten und von dieser beurteilten Einwände in der Verwaltungsgerichtsbeschwerde nichts zu ändern. Insbesondere ist das Argument - der Gutachter habe in seinen Abklärungen die in den Akten enthaltenen Anhaltspunkte (Einnahme von Beruhigungsmitteln/depressiver Eindruck), die auf eine allfällige psychische Erkrankung des Beschwerdeführers vor dem 1. Mai 1992 hingedeutet hätten, nicht gebührend gewichtet, während er dessen Verhalten (Urlaub/Tätigkeit als Arbeitsvermittler oder Disponent [recte: selbstständig organisierte Umschulung]) zur fraglichen Zeit überbewertet habe - nicht geeignet, das vorinstanzliche Ergebnis in Zweifel zu ziehen. Das Gutachten, auf das die Vorinstanz abgestellt hat, ist von einem Spezialisten auf dem Gebiet der Psychiatrie erstellt worden und es ist nachvollziehbar begründet. Was der Beschwerdeführer dagegen vorbringt, ist nicht stichhaltig.
Auf beweismässige Weiterungen kann verzichtet werden. Es muss daher bei den Erwägungen der Vorinstanz im angefochtenen Entscheid sein Bewenden haben, denen das Eidgenössische Versicherungsgericht nichts beizufügen hat.
4.- Aus dem Gesagten folgt, dass für die Wahrung des Rentenanspruchs nicht die Anmeldung vom 10. April 1991, sondern jene vom 31. Mai 1994 massgebend ist. Die Festlegung des Rentenbeginns auf den 1. Mai 1993 ist somit nicht zu beanstanden.
5.- Da es im vorliegenden Verfahren um Versicherungsleistungen geht, sind gemäss Art. 134 OG keine Gerichtskosten zu erheben. Das Gesuch um unentgeltliche Verbeiständung ist abzuweisen (Art. 152 in Verbindung mit Art. 135 OG), da die Beschwerde als aussichtslos zu bezeichnen ist (<ref-ruling> Erw. 6 mit Hinweisen; AHI 1999 S. 85 Erw. 3).

Demnach erkennt das Eidg. Versicherungsgericht:
I.Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
II.Es werden keine Gerichtskosten erhoben.
III. Das Gesuch um unentgeltliche Verbeiständung wird abgewiesen.
IV.Dieses Urteil wird den Parteien, der Kantonalen Rekurskommission für die Ausgleichskassen und die IV- Stellen, Basel, der Ausgleichskasse Basel-Stadt und
dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 23. Juli 2001
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der II. Kammer:
Die Gerichtsschreiberin: