A.- Der 1956 geborene F._, gelernter Forstwart, meldete sich am 3. August 1993 bei der Invalidenversicherung zum Leistungsbezug an. Die Verwaltung holte unter anderem Berichte der Dres. med. E._, Spezialarzt für Innere Medizin FMH, speziell Rheumaerkrankungen (vom 11. April 1994), und B._, Allgemeine Medizin FMH (vom 6. Juni 1994), ein und liess den Versicherten psychiatrisch begutachten (Expertise der Psychiatrischen Klinik X._ vom 7. Juli 1995). Gestützt darauf wies die IV-Stelle Basel-Stadt das Gesuch ab mit der Begründung, es liege keine Invalidität "im Sinne des Gesetzes" vor, da die Arbeitsunfähigkeit sowie die Unmöglichkeit, an beruflichen Massnahmen teilzunehmen, einzig auf die Suchtproblematik zurückzuführen seien (Verfügung vom 7. September 1995). Daran hielt sie in ihrem "Einspracheentscheid" vom 2. November 1995 fest. In teilweiser Gutheissung der hiegegen eingereichten Beschwerde hob die Kantonale Rekurskommission für die Ausgleichskassen und die IV-Stellen, Basel, am 5. September 1996 den angefochtenen Einspracheentscheid sowie die Verfügung vom 7. September 1995 auf und wies die Sache an die Verwaltung zurück, damit sie, nach erfolgter Abklärung im Sinne der Erwägungen, neu verfüge. Auf Verwaltungsgerichtsbeschwerde hin hob das Eidgenössische Versicherungsgericht den kantonalen sowie den Einsprache-Entscheid und den Verwaltungsakt aus formellen Gründen auf und wies die Sache an die IV-Stelle zurück, damit diese in rechtskonformer Weise über den Leistungsanspruch neu befinde (Urteil vom 27. März 1997).
Am 20. Mai 1997 verfügte die IV-Stelle - nach Durchführung des Vorbescheidverfahrens gemäss <ref-law> - erneut die Abweisung des Leistungsbegehrens.
B.- Die hiegegen erhobene Beschwerde wies das kantonale Gericht mit Entscheid vom 18. Dezember 1997 ab.
C.- F._ lässt Verwaltungsgerichtsbeschwerde führen und beantragen, es sei ihm, in Aufhebung der vorinstanzlich bestätigten Ablehnungsverfügung, ab 1. August 1993 eine ganze Invalidenrente zuzusprechen. Ferner ersucht er um die Gewährung der unentgeltlichen Rechtspflege und Verbeiständung. Auf die Begründung wird, soweit erforderlich, in den Erwägungen eingegangen.
Die IV-Stelle trägt auf Abweisung der Verwaltungsgerichtsbeschwerde an. Das Bundesamt für Sozialversicherung hat sich nicht vernehmen lassen.

Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Im Beschwerdeverfahren um die Bewilligung oder Verweigerung von Versicherungsleistungen ist die Überprüfungsbefugnis des Eidgenössischen Versicherungsgerichts nicht auf die Verletzung von Bundesrecht einschliesslich Überschreitung oder Missbrauch des Ermessens beschränkt, sondern sie erstreckt sich auch auf die Angemessenheit der angefochtenen Verfügung; das Gericht ist dabei nicht an die vorinstanzliche Feststellung des rechtserheblichen Sachverhalts gebunden und kann über die Begehren der Parteien zu deren Gunsten oder Ungunsten hinausgehen (Art. 132 OG).
Die dem Eidgenössischen Versicherungsgericht in Streitigkeiten um Versicherungsleistungen zustehende umfassende Kognition hat unter anderem die Konsequenz, dass auch neue, erstmals im letztinstanzlichen Verfahren vorgebrachte Tatsachenbehauptungen und Beweismittel (sog. Noven) zu berücksichtigen sind (<ref-ruling> Erw. 4a; RKUV 1999 Nr. U 333 S. 197 Erw. 1, 1988 Nr. K 769 S. 244 Erw. 5a; SVR 1999 IV Nr. 24 S. 72 Erw. 1). Im vorliegenden Fall betrifft dies namentlich die mit der Verwaltungsgerichtsbeschwerde aufgelegten Berichte des Dr. med. K._, Psychiatrie und Psychotherapie FMH (vom 9. August 1998), des Projekts Janus, Psychiatrische Klinik X._ (vom 6. August 1998), sowie des Schulpsychologischen Dienstes des Kantons Basel-Landschaft (vom 10. August 1998).
2.- a) Das kantonale Gericht hat die vorliegend massgeblichen gesetzlichen Bestimmungen betreffend den Invaliditätsbegriff (<ref-law>), den Umfang des Rentenanspruchs (<ref-law>), die Bemessung des Invaliditätsgrades bei erwerbstätigen Versicherten nach der Einkommensvergleichsmethode (<ref-law>; <ref-ruling> Erw. 1b, 114 V 313 Erw. 3a, 104 V 136 Erw. 2a und b; ZAK 1987 S. 305 Erw. 1, 1986 S. 412 Erw. 1c; RKUV 1989 Nr. U 69 S. 176 Erw. 1) sowie die Rechtsprechung zur Bedeutung ärztlicher Auskünfte im Rahmen der Invaliditätsschätzung (<ref-ruling> Erw. 2, 114 V 314 Erw. 3c, 105 V 158 Erw. 1 am Ende; vgl. auch <ref-ruling> Erw. 3; ZAK 1991 S. 319 Erw. 1c, 1989 S. 118 Erw. 5a, 1986 S. 189 Erw. 2a) zutreffend wiedergegeben. Richtig ist auch, dass Drogensucht für sich allein praxisgemäss keine Invalidität im Sinne des Gesetzes begründet. Dagegen wird eine solche Sucht im Rahmen der Invalidenversicherung relevant, wenn sie eine Krankheit oder einen Unfall bewirkt hat, in deren Folge ein körperlicher oder geistiger, die Erwerbsfähigkeit beeinträchtigender Gesundheitsschaden eingetreten ist, oder wenn sie selber Folge eines körperlichen oder geistigen Gesundheitsschadens ist, dem Krankheitswert zukommt (<ref-ruling>; AHI 1996 S. 301 Erw. 2a, S. 304 Erw. 1a und S. 307 Erw. 2a mit weiteren Hinweisen; bestätigt im nicht veröffentlichten Urteil P. vom 31. Januar 2000, I 138/98).
b) Das Bundesrecht schreibt nicht vor, wie die einzelnen Beweismittel zu würdigen sind. Für das gesamte Verwaltungs- und Verwaltungsgerichtsbeschwerdeverfahren gilt der Grundsatz der freien Beweiswürdigung (<ref-law> in Verbindung mit <ref-law>; Art. 95 Abs. 2 OG in Verbindung mit Art. 113 und 132 OG). Danach haben Versicherungsträger und Sozialversicherungsgericht die Beweise frei, d.h. ohne Bindung an förmliche Beweisregeln, sowie umfassend und pflichtgemäss zu würdigen (Gygi, Bundesverwaltungsrechtspflege, 2. Aufl. , S. 278). Für das Beschwerdeverfahren bedeutet dies, dass das Sozialversicherungsgericht alle Beweismittel, unabhängig davon, von wem sie stammen, objektiv zu prüfen und danach zu entscheiden hat, ob die verfügbaren Unterlagen eine zuverlässige Beurteilung des streitigen Rechtsanspruches gestatten. Insbesondere darf es bei einander widersprechenden medizinischen Berichten den Prozess nicht erledigen, ohne das gesamte Beweismaterial zu würdigen und die Gründe anzugeben, warum es auf die eine und nicht auf die andere medizinische These abstellt. Hinsichtlich des Beweiswertes eines Arztberichtes ist entscheidend, ob der Bericht für die streitigen Belange umfassend ist, auf allseitigen Untersuchungen beruht, auch die geklagten Beschwerden berücksichtigt, in Kenntnis der Vorakten (Anamnese) abgegeben worden ist, in der Darlegung der medizinischen Zusammenhänge und in der Beurteilung der medizinischen Situation einleuchtet und ob die Schlussfolgerungen des Experten begründet sind (RKUV 1991 Nr. U 133 S. 312; vgl. auch Meyer-Blaser, Die Rechtspflege in der Sozialversicherung, in: BJM 1989 S. 30 f.). Ausschlaggebend für den Beweiswert ist grundsätzlich somit weder die Herkunft eines Beweismittels noch die Bezeichnung der eingereichten oder in Auftrag gegebenen Stellungnahme als Bericht oder Gutachten, sondern dessen Inhalt (<ref-ruling> Erw. 3a, 122 V 160 Erw. 1c; AHI 1997 S. 305 f. Erw. 3c; Omlin, Die Invaliditätsbemessung in der obligatorischen Unfallversicherung, S. 297 f.; Morger, Unfallmedizinische Begutachtung in der SUVA, in: SZS 32/1988 S. 332 f.).
3.- a) Nach dem Gutachten der Psychiatrischen Klinik X._ vom 7. Juli 1995 leidet der Beschwerdeführer an einer schweren depressiv-narzisstischen Neurose mit grosser Rückzugstendenz und fehlendem Vertrauen in tragfähige Beziehungen bei wohl schwerer Selbstwertstörung. Bedingt durch die sekundäre Polytoxikomanie betrage die Arbeitsunfähigkeit über 70 %. Verwaltung und Vorinstanz haben sich bei ihrer Entscheidfindung nicht auf diese Expertise abgestützt mit der Begründung, das Gutachten lege nicht nachvollziehbar dar, dass die Sucht auf ein invalidisierendes psychisches Leiden zurückzuführen sei. Vielmehr könne dem Gutachten entnommen werden, dass sich der Beschwerdeführer völlig normal entwickelt habe. Die Jugendzeit sei nicht durch pathologische Geschehnisse gekennzeichnet, und auch die Schule (inkl. Gymnasium) habe der Versicherte problemlos durchlaufen. Einen äusseren, krankhaften Anlass zur - mit Haschischkonsum im Untergymnasium begonnenen - Drogenkarriere, welche dem Schulbesuch ein Ende gesetzt habe, sei daraus nicht ersichtlich. Die erstmals 1993 gestellte Diagnose einer (leichten) narzisstischen Störung sei (einzig) auf den drogenbedingten sozialen Abstieg zurückzuführen.
b) Ob diese Beweiswürdigung vor dem Hintergrund der in Erw. 2b dargelegten Grundsätze Stand hält, kann offen gelassen werden. Im letztinstanzlich aufgelegten Bericht (vom 9. August 1998) diagnostizierte Dr. K._ eine schwere depressiv-narzisstische Neurose mit sekundärer Drogensucht. Dabei räumte der Psychiater ein, dass er als Therapeut vor derselben Tatsache gestanden sei wie die Ärzte der Poliklinik, nämlich dass sich die Erhebung der Anamnese äusserst schwierig dargestellt habe, da vom Beschwerdeführer krankheitsbedingt kaum relevante Daten erhältlich seien. Dies stelle aber Ausdruck der psychischen Erkrankung dar, welche dazu geführt habe, dass der Versicherte kaum mehr Zugang zu seinen Gefühlen habe, kein primäres Vertrauen entwickle und sehr zurückgezogen lebe. Psychodynamisch falle eine ausgesprochene Ambivalenz auf, die zu einer zwanghaft anmutenden Entscheidungsunfähigkeit führe. So sei das Verhältnis gegenüber seinem Bruder von Eifersucht geprägt (Malträtierung des Bruders im Kleinkindesalter mit potenziell letalem Ausgang), und auch dasjenige zu seinem Vater müsse als zwiespältig bezeichnet werden (Idealisierung einerseits, Bekämpfung mit möglicherweise unbewusster Verweigerungstendenz andererseits). Aus dem Gemisch dieser Regungen resultiere eine weitgehende Handlungsunfähigkeit und Depressivität, die der Ansprecher möglicherweise im Sinne eines Heilungsversuchs mit Drogen "behandelt" habe. Diese Persönlichkeitsstruktur sei trotz jahrelangem Drogenabusus immer noch deutlich sichtbar. Dies sei an sich ungewöhnlich, zeigten doch die meisten Drogenpatienten nicht sichtbar "Über-Ich-Konflikte", sondern manifest ein ausgesprochenes Fehlen davon. Ebenso neigten sie zu einer "Entweder-oder"-Sicht mit vollständiger Schuldzuweisung an die Aussenwelt. Trotz langjähriger Drogengeschichte sei der Beschwerdeführer dermassen als hochneurotisch zu bezeichnen, dass er wohl auch ohne Drogenprobleme grösste Arbeitsschwierigkeiten hätte. Sodann weist der Schulpsychologische Dienst in seinem Bericht vom 10. August 1998 darauf hin, dass der damals noch nicht 17jährige Beschwerdeführer im ersten Gymnasium wegen Leistungsschwierigkeiten und Schlafstörungen zur Abklärung angemeldet worden sei. Dabei hätten sich gewisse Überforderungssymptome, starke affektive Schwierigkeiten, einen zielgerichteten Einsatz psychischer Energien beeinträchtigende Identitätsprobleme sowie beginnende Schlafstörungen gezeigt.
c) Auf Grund dieser schlüssigen, die Nachvollziehbarkeit der von den Ärzten der Psychiatrischen Klinik X._ gestellten Diagnose einer schweren depressiv-narzisstischen Neurose ermöglichenden Berichte einerseits, des Berichts des Projekts Janus vom 6. August 1998, welcher das von Dr. K._ festgestellte Verhaltensmuster auf Grund eigener Beobachtungen bestätigt andererseits, kann als mit überwiegender Wahrscheinlichkeit (<ref-ruling> Erw. 2, 121 V 47 Erw. 2a, 208 Erw. 6b mit Hinweisen) erstellt gelten, dass die Drogensucht auf ein invalidisierendes psychisches Leiden zurückzuführen und damit invalidenversicherungsrechtlich relevant ist. Da auf Grund der Akten davon auszugehen ist, dass der Beschwerdeführer das ihm ärztlich ausgewiesene restliche Leistungsvermögen von weniger als 30 % auf dem für ihn in Frage kommenden ausgeglichenen Arbeitsmarkt wirtschaftlich nicht verwerten kann, hat er Anspruch auf eine ganze Invalidenrente, deren Beginn am 1. August 1993 unbestritten ist.
4.- Im vorliegenden Verfahren geht es um die Bewilligung oder Verweigerung von Versicherungsleistungen, weshalb von der Auferlegung von Gerichtskosten abzusehen ist (Art. 134 OG). Dem Prozessausgang entsprechend ist dem Beschwerdeführer eine Parteientschädigung zuzusprechen (Art. 135 in Verbindung mit Art. 159 OG). Das Gesuch um unentgeltliche Rechtspflege, einschliesslich der unentgeltlichen Verbeiständung, erweist sich damit als gegenstandslos.

Demnach erkennt das Eidg. Versicherungsgericht:
I.In Gutheissung der Verwaltungsgerichtsbeschwerde werden der Entscheid der Kantonalen Rekurskommission für die Ausgleichskassen und die IV-Stellen, Basel, vom 18. Dezember 1997 sowie die Verfügung der IV-Stelle Basel-Stadt vom 20. Mai 1997 aufgehoben mit der Feststellung, dass der Beschwerdeführer ab 1. August 1993 Anspruch auf eine ganze Invalidenrente hat.
II.Es werden keine Gerichtskosten erhoben.
III. Die IV-Stelle Basel-Stadt hat dem Beschwerdeführer für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Parteientschädigung von Fr. 2500. - (einschliesslich Mehrwertsteuer) zu bezahlen.
IV.Die Kantonale Rekurskommission für die Ausgleichskassen und die IV-Stellen, Basel, wird über eine Parteientschädigung für das kantonale Verfahren entsprechend dem Ausgang des letztinstanzlichen Prozesses zu befinden haben.
V.Dieses Urteil wird den Parteien, der Kantonalen Rekurskommission für die Ausgleichskassen und die IV-Stellen, Basel, der Ausgleichskasse Basel-Stadt und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 2. März 2000
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der IV. Kammer:
Der Gerichtsschreiber: