A.- Mit Verfügung vom 2. Februar 1998 lehnte die IV-Stelle Basel-Stadt das Rentenbegehren des O._ mangels anspruchsrelevanter Invalidität ab.
B.- Die hiegegen erhobene Beschwerde wies die Kantonale Rekurskommission für die Ausgleichskassen und die IV-Stellen Basel-Stadt mit Entscheid vom 19. November 1998 ab, soweit sie darauf eintrat (Dispositiv-Ziffer 1).
C.- O._ lässt Verwaltungsgerichtsbeschwerde führen und beantragen, in Aufhebung der Dispositiv-Ziffer 1 des angefochtenen Entscheides sei die Sache an die IV-Stelle zurückzuweisen, damit sie ihm ab 1. Juni 1994 eine halbe Invalidenrente, basierend auf einem Invaliditätsgrad von 59 %, ausrichte. Zudem ersucht er um Gewährung der unentgeltlichen Verbeiständung.
Die IV-Stelle schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde.
Das Bundesamt für Sozialversicherung lässt sich nicht vernehmen.

Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Im Beschwerdeverfahren um die Bewilligung oder Verweigerung von Versicherungsleistungen ist die Überprüfungsbefugnis des Eidgenössischen Versicherungsgerichts nicht auf die Verletzung von Bundesrecht einschliesslich Überschreitung oder Missbrauch des Ermessens beschränkt, sondern sie erstreckt sich auch auf die Angemessenheit der Verwaltungsverfügung; das Gericht ist dabei nicht an die vorinstanzliche Feststellung des rechtserheblichen Sachverhalts gebunden und kann über die Begehren der Parteien zu deren Gunsten oder Ungunsten hinausgehen (Art. 132 OG).
2.- a) Die Vorinstanz hat die massgeblichen Bestimmungen über den Umfang des Rentenanspruchs (Art. 28 Abs. 1 und 1bis IVG), die Invaliditätsbemessung bei erwerbstätigen Versicherten nach der Einkommensvergleichsmethode (Art. 28 Abs. 2 IVG) und die Bedeutung ärztlicher Auskünfte im Rahmen der Invaliditätsbemessung (<ref-ruling> Erw. 2, 114 V 314 Erw. 3c, 105 V 158 Erw. 1) zutreffend dargelegt. Darauf kann verwiesen werden.
b) Für das gesamte Verwaltungs- und Verwaltungsgerichtsbeschwerdeverfahren gilt der Grundsatz der freien Beweiswürdigung (Art. 40 BZP in Verbindung mit Art. 135 OG; Art. 95 Abs. 2 OG in Verbindung mit Art. 113 und 132 OG; Art. 85 Abs. 2 lit. c AHVG in Verbindung mit Art. 69 IVG; Meyer-Blaser, Rechtsprechung des Bundesgerichts zum IVG, Zürich 1997, S. 229). Danach haben Versicherungsträger und Sozialversicherungsrichter die Beweise frei, d.h. ohne Bindung an förmliche Beweisregeln sowie umfassend und pflichtgemäss zu würdigen (Gygi, Bundesverwaltungsrechtspflege, 2. Auflage, S. 278). Für das Beschwerdeverfahren bedeutet dies, dass der Sozialversicherungsrichter alle Beweismittel, unabhängig davon, von wem sie stammen, objektiv zu prüfen und danach zu entscheiden hat, ob die verfügbaren Unterlagen eine zuverlässige Beurteilung des streitigen Rechtsanspruchs gestatten. Insbesondere darf er bei einander widersprechenden medizinischen Berichten den Prozess nicht erledigen, ohne das gesamte Beweismaterial zu würdigen und die Gründe anzugeben, warum er auf die eine und nicht auf die andere medizinische These abstellt. Hinsichtlich des Beweiswertes eines Arztberichtes ist also entscheidend, ob der Bericht für die streitigen Belange umfassend ist, auf allseitigen Untersuchungen beruht, auch die geklagten Beschwerden berücksichtigt, in Kenntnis der Vorakten (Anamnese) abgegeben worden ist, in der Darlegung der medizinischen Zusammenhänge und in der Beurteilung der medizinischen Situation einleuchtet und ob die Schlussfolgerungen des Experten begründet sind (<ref-ruling> Erw. 1c mit Hinweisen). In Bezug auf Berichte von Hausärzten darf und soll der Richter der Erfahrungstatsache Rechnung tragen, dass Hausärzte mitunter im Hinblick auf ihre auftragsrechtliche Vertrauensstellung in Zweifelsfällen eher zu Gunsten ihrer Patienten aussagen (<ref-ruling> Erw. 3b/cc).
3.- a) Auf Grund der medizinischen Akten steht fest, dass der Beschwerdeführer in somatischer Hinsicht an einem rezidivierenden Lumbovertebralsyndrom bei medialer Diskushernie L5-S1 und an rezidivierenden belastungsabhängigen Kreuzschmerzen, teilweise mit Ausstrahlung in das Gesäss, leidet. Zudem besteht ein muskuläres Defizit im Bereich der Wirbelsäule und der unteren Extremitäten (Berichte des Hausarztes Dr. med. R._, Spezialarzt FMH für Orthopädische Chirurgie, vom 3. September 1997, 30. Mai 1996 und vom 16. August 1995). Aus psychischer Sicht liegt beim Beschwerdeführer eine psychogene Schmerzfehlverarbeitung im Sinne einer somatoformen Schmerzstörung (F 45) mit deutlichem sekundärem Krankheitsgewinn vor sowie die Entwicklung körperlicher Symptome aus psychischen Gründen (F 68; Gutachten des Dr. med. W._, Spezialarzt für Psychiatrie und Psychotherapie FMH, vom 21. Juli 1997).
b) Streitig und zu prüfen ist, in welchem Ausmass die Arbeitsfähigkeit des Beschwerdeführers eingeschränkt ist.
Die Parteien sind sich darüber einig, dass für eine Arbeit, welche mit einer grossen körperlichen Beanspruchung verbunden ist, wie dies ebenfalls für die vor Auftreten der gesundheitlichen Probleme ausgeübte Tätigkeit als Bauhilfsarbeiter zutrifft, keine ausreichende Arbeitsfähigkeit mehr besteht. Dagegen ist der Beschwerdeführer aus psychiatrischer Sicht sowohl in seiner zuletzt ausgeübten Tätigkeit, wie in jeder anderen Tätigkeit, die ihm vom Rückenleiden her zugemutet werden kann, voll arbeitsfähig (Gutachten des Dr. med. W._ vom 21. Juli 1997, Punkt 5).
Uneinigkeit unter den Parteien besteht dagegen bezüglich Arbeitsfähigkeit in einer dem Rücken angepassten, körperlich leichten Tätigkeit. Verwaltung und Vorinstanz gehen von einer 100-%igen Arbeitsfähigkeit aus, während der Beschwerdeführer eine 50-%ige geltend macht.
Aus den Akten geht hervor, dass der Beschwerdeführer vom 6. Juli 1993 bis 13. März 1994 zu 100 % arbeitsunfähig war. Da er als Bauhilfsarbeiter nicht mehr arbeiten konnte, bot ihm sein Arbeitgeber eine Tätigkeit im Magazin an, die er vom 14. März 1994 bis 28. März 1995 halbtags ausübte, jedoch mit reduzierter Leistung. Seit dem 29. März 1995 arbeitete er ganztags und steigerte seine Leistung auf 50 % (vgl. Fragebogen für den Arbeitgeber vom 14. Juli 1995). Auf Grund dieser Sachlage erklärte Dr. med. R._ den Patienten im bisherigen Beruf zu 50 % arbeitsfähig (Bericht einschliesslich Ergänzungsblatt vom 16. August 1995), wobei nicht klar ist, ob er die Tätigkeit auf dem Bau oder im Magazin gemeint hat. Am 30. Mai 1996 gab Dr. med. R._ in seinem Bericht als zumutbares Arbeitspensum im bisherigen Beruf den ganzen Tag an, aber mit einer zu 50 % reduzierten Leistung. Auf Anfrage der IV-Stelle bestätigte er seine Aussage und wies darauf hin, dass der Patient in letzter Zeit einer seinen Beschwerden angepassten Tätigkeit bereits nachgehe (Schreiben des Dr. med. R._ an die IV-Stelle vom 12. August 1996). Im selben Schreiben informierte er die Verwaltung darüber, dass von Dr. med. Saubermann ab 8. Juli 1996 erneut 100 % Arbeitsunfähigkeit angenommen worden sei. Zudem hielt er fest, dass er mit einer zusätzlichen psychiatrischen Abklärung einverstanden wäre. Gestützt auf das in der Zwischenzeit ergangene Gutachten erklärte Dr. med. R._ in seinem Bericht vom 3. September 1997 er könne sich ohne weiteres den Schlussfolgerungen von Dr. W._ anschliessen, nämlich dass der Patient in einer adaptierten Tätigkeit ganztagsarbeitenkönne. ImBauhandwerkseidiesallerdingsnichtmöglich, sodasshiervoneiner50%-igenArbeitsfähigkeitausgegangenwerdenmüsse. Im Ergänzungsbericht vom 4. September 1997 gab er als zumutbares Arbeitspensum im bisherigen Beruf einen halben Tag und in einer alternativen Berufstätigkeit einen ganzen Tag an. Diese Aussagen wurden vom selben Arzt wieder dahingehend berichtigt, dass die 50-%ige Arbeitsfähigkeit gleichzeitig bedeute, dass der Patient eine adaptierte, körperlich leichte Tätigkeit ganztags ausüben könne, während die Arbeit auf dem Bau nicht mehr möglich sei (Schreiben des Dr. med. R._ an Advokat Guido Ehrler vom 2. Dezember 1997). Auf Anfrage der Verwaltung bestätigte der Arzt die im Brief enthaltenen Erklärungen und erläuterte sie dahingehend, dass effektiv eine 50-%ige Arbeitsfähigkeit bestehe, wobei eine adaptierte Tätigkeit ganztags ausgeführt werden könne (Schreiben des Dr. med. R._ an die IV-Stelle vom 20. Januar 1998).
c) Bei dieser Sachlage kann, entgegen der Auffassung von Verwaltung und Vorinstanz, nicht eindeutig gesagt werden, der Beschwerdeführer sei in einer den Rücken schonenden, körperlich leichten Tätigkeit zu 100 % arbeitsfähig. Ebenso wenig kann gesagt werden, der Beschwerdeführer sei in einer solchen Tätigkeit nur zu 50 % arbeitsfähig.
Angesichts dieser Unklarheiten ist eine ergänzende Abklärung unumgänglich, wobei vor allem die Arbeitsfähigkeit des Beschwerdeführers in einer den Rücken schonenden, körperlich leichten Tätigkeit zu beurteilen sein wird. Die Sache ist zu diesem Zwecke an die Verwaltung zurückzuweisen, welche in der Folge über den Invaliditätsgrad sowie den Rentenanspruch des Beschwerdeführers neu befinden wird.
4.- Dem Prozessausgang entsprechend ist dem Beschwerdeführer für das letztinstanzliche Verfahren eine Parteientschädigung zuzusprechen (Art. 135 in Verbindung mit Art. 159 OG). Das Gesuch um unentgeltliche Verbeiständung erweist sich damit als gegenstandslos. Ferner steht dem Beschwerdeführer für das vorinstanzliche Verfahren anstelle der unentgeltlichen Verbeiständung eine ordentliche Parteientschädigung zu, worüber die Vorinstanz zu entscheiden hat.

Demnach erkennt das Eidg. Versicherungsgericht:
I. Die Verwaltungsgerichtsbeschwerde wird in dem Sinne gutgeheissen, dass Dispositiv-Ziffer 1 des Entscheides der Kantonalen Rekurskommission für die Ausgleichskassen und die IV-Stellen Basel-Stadt vom 19. November 1998 und die Verfügung vom 2. Februar 1998 aufgehoben werden und die Sache an die IV-Stelle Basel-Stadt zurückgewiesen wird, damit diese, nach erfolgter Abklärung im Sinne der Erwägungen, neu verfüge.
II. Es werden keine Gerichtskosten erhoben.
III. Die IV-Stelle Basel-Stadt hat dem Beschwerdeführer für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Parteientschädigung (einschliesslich Mehrwertsteuern) von Fr. 2500. - zu bezahlen.
IV. Die Kantonale Rekurskommission für die Ausgleichskassen und die IV-Stellen, Basel, wird über eine Neuverlegung der Parteikosten für das kantonale Verfahren entsprechend dem Ausgang des letztinstanzlichen Prozesses zu befinden haben.
V. Dieses Urteil wird den Parteien, der Kantonalen Rekurskommission für die Ausgleichskassen und die IV-Stellen, Basel, und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 4. September 2000
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der III. Kammer:
Die Gerichtsschreiberin: