Sachverhalt:
Sachverhalt:
A. Der 1955 geborene S._ meldete sich am 9. Mai 2001 zufolge Rückenbeschwerden und Arthrose an der Wirbelsäule bei der Invalidenversicherung zum Bezug von Versicherungsleistungen an. Nach angeordneten erwerblichen und medizinischen Abklärungen sowie durchgeführtem Vorbescheidverfahren sprach die IV-Stelle des Kan-tons Solothurn dem Versicherten mit Wirkung ab 1. Mai 2001 gestützt auf einen Invaliditätsgrad von 50 % eine halbe Rente zu (Verfügung vom 28. Juni 2002).
A. Der 1955 geborene S._ meldete sich am 9. Mai 2001 zufolge Rückenbeschwerden und Arthrose an der Wirbelsäule bei der Invalidenversicherung zum Bezug von Versicherungsleistungen an. Nach angeordneten erwerblichen und medizinischen Abklärungen sowie durchgeführtem Vorbescheidverfahren sprach die IV-Stelle des Kan-tons Solothurn dem Versicherten mit Wirkung ab 1. Mai 2001 gestützt auf einen Invaliditätsgrad von 50 % eine halbe Rente zu (Verfügung vom 28. Juni 2002).
B. In der von S._ hiegegen erhobenen Beschwerde wurde beantragt, es sei ihm eine ganze Rente mit Wirkung ab 1. Mai 2001 auszurichten. Eventualiter seien weitere Abklärungen durch die Vorinstanz vorzunehmen. Insbesondere wurde ausgeführt, die festgestellte 50 %ige Arbeitsunfähigkeit sei auf das rheumatologische Leiden zurückzuführen; eine weitergehende Arbeitsunfähigkeit sei indessen aus psychiatrischer Sicht gegeben. Das Versicherungsgericht des Kantons Solothurn wies die Beschwerde mit Entscheid vom 2. Februar 2004 ab.
B. In der von S._ hiegegen erhobenen Beschwerde wurde beantragt, es sei ihm eine ganze Rente mit Wirkung ab 1. Mai 2001 auszurichten. Eventualiter seien weitere Abklärungen durch die Vorinstanz vorzunehmen. Insbesondere wurde ausgeführt, die festgestellte 50 %ige Arbeitsunfähigkeit sei auf das rheumatologische Leiden zurückzuführen; eine weitergehende Arbeitsunfähigkeit sei indessen aus psychiatrischer Sicht gegeben. Das Versicherungsgericht des Kantons Solothurn wies die Beschwerde mit Entscheid vom 2. Februar 2004 ab.
C. S._ lässt Verwaltungsgerichtsbeschwerde führen und in Aufhebung des angefochtenen Entscheides beantragen, ihm seien die gesetzlichen Leistungen auszurichten. Ferner wurde um unentgeltliche Prozessführung und Verbeiständung ersucht; mit Schreiben vom 14. April 2004 wurde das Gesuch jedoch zurückgezogen.
Während die IV-Stelle auf Abweisung der Verwaltungsgerichtsbeschwerde schliesst, verzichtet das Bundesamt für Sozialversicherung auf eine Vernehmlassung.

Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. Das kantonale Gericht hat die gesetzlichen Bestimmungen und Grundsätze zum Begriff der Invalidität (<ref-law>; <ref-ruling> Erw. 1b), zu den Voraussetzungen und zum Umfang des Rentenanspruchs (Art. 28 Abs. 1 und 1bis IVG) sowie zur Bemessung des Invaliditätsgrades bei erwerbstätigen Versicherten nach der Einkommensvergleichsmethode (<ref-law>; vgl. <ref-ruling> f. Erw. 2a und b; AHI 2000 S. 309 Erw. 1a; vgl. auch <ref-ruling> Erw. 1) zutreffend dargelegt. Richtig wiedergegeben ist ferner die Rechtsprechung zur Verwendung von Tabellenlöhnen bei der Ermittlung des trotz Gesundheitsschädigung zumutbarerweise noch realisierbaren Einkommens (Invalideneinkommen; <ref-ruling> f. Erw. 3b mit Hinweis; AHI 2002 S. 67 Erw. 3b) und zum in diesem Zusammenhang gegebenenfalls vorzunehmenden behinderungsbedingten Abzug (AHI 1999 S. 181 Erw. 3b; siehe auch <ref-ruling> ff. Erw. 5; AHI 2002 S. 67 ff. Erw. 4). Dasselbe gilt für die Rechtsprechung zur Aufgabe des Arztes bei der Invaliditätsbemessung (<ref-ruling> f. Erw. 4 mit Hinweisen) und zum Beweiswert ärztlicher Berichte und Gutachten (<ref-ruling> Erw. 3a mit Hinweis; AHI 2000 S. 152 Erw. 2c). Darauf wird verwiesen. Richtig ist schliesslich, dass das am 1. Januar 2003 in Kraft getretene Bundesgesetz über den Allgemeinen Teil des Sozialversicherungsrechts (ATSG) nach den von der Rechtsprechung entwickelten intertemporalrechtlichen Regeln (<ref-ruling> Erw. 1, 121 V 366 Erw. 1b) auf den vorliegenden Sachverhalt nicht anwendbar ist. Zu ergänzen ist, dass die am 1. Januar 2004 in Kraft getretenen Änderungen des Bundesgesetzes über die Invalidenversicherung vom 21. März 2003 und der Verordnung über die Invalidenversicherung vom 21. Mai 2003 nicht zur Anwendung gelangen (<ref-ruling> Erw. 1.2).
1. Das kantonale Gericht hat die gesetzlichen Bestimmungen und Grundsätze zum Begriff der Invalidität (<ref-law>; <ref-ruling> Erw. 1b), zu den Voraussetzungen und zum Umfang des Rentenanspruchs (Art. 28 Abs. 1 und 1bis IVG) sowie zur Bemessung des Invaliditätsgrades bei erwerbstätigen Versicherten nach der Einkommensvergleichsmethode (<ref-law>; vgl. <ref-ruling> f. Erw. 2a und b; AHI 2000 S. 309 Erw. 1a; vgl. auch <ref-ruling> Erw. 1) zutreffend dargelegt. Richtig wiedergegeben ist ferner die Rechtsprechung zur Verwendung von Tabellenlöhnen bei der Ermittlung des trotz Gesundheitsschädigung zumutbarerweise noch realisierbaren Einkommens (Invalideneinkommen; <ref-ruling> f. Erw. 3b mit Hinweis; AHI 2002 S. 67 Erw. 3b) und zum in diesem Zusammenhang gegebenenfalls vorzunehmenden behinderungsbedingten Abzug (AHI 1999 S. 181 Erw. 3b; siehe auch <ref-ruling> ff. Erw. 5; AHI 2002 S. 67 ff. Erw. 4). Dasselbe gilt für die Rechtsprechung zur Aufgabe des Arztes bei der Invaliditätsbemessung (<ref-ruling> f. Erw. 4 mit Hinweisen) und zum Beweiswert ärztlicher Berichte und Gutachten (<ref-ruling> Erw. 3a mit Hinweis; AHI 2000 S. 152 Erw. 2c). Darauf wird verwiesen. Richtig ist schliesslich, dass das am 1. Januar 2003 in Kraft getretene Bundesgesetz über den Allgemeinen Teil des Sozialversicherungsrechts (ATSG) nach den von der Rechtsprechung entwickelten intertemporalrechtlichen Regeln (<ref-ruling> Erw. 1, 121 V 366 Erw. 1b) auf den vorliegenden Sachverhalt nicht anwendbar ist. Zu ergänzen ist, dass die am 1. Januar 2004 in Kraft getretenen Änderungen des Bundesgesetzes über die Invalidenversicherung vom 21. März 2003 und der Verordnung über die Invalidenversicherung vom 21. Mai 2003 nicht zur Anwendung gelangen (<ref-ruling> Erw. 1.2).
2. 2.1 Streitig und zu prüfen ist der Invaliditätsgrad. Die IV-Stelle hat ihre Verfügung hauptsächlich auf einen von Dr. med. M._ erstellten rheumatologischen Arztbericht vom 18. Juni 2001 abgestellt. Darin wurde die Diagnose eines chronisch-rezidivierenden Panvertebral-Syndroms mit einer im Vordergrund stehenden lumbo-spondylogenen Komponente rechts gestellt. In seiner medizinischen Beurteilung gelangte der Arzt zum Schluss, dem Versicherten sei eine körperlich leichte und mittelschwere Tätigkeit im Umfang von 50 % zuzumuten. Die Vorinstanz hat erwogen, dass der Beschwerdeführer in einer angepassten Tätigkeit zu 50 % arbeitsfähig sei und nach erstelltem Einkommensvergleich eine 55 %ige Erwerbsunfähigkeit aufweise.
2.2 Sowohl im vorinstanzlichen Verfahren wie auch in der Verwaltungsgerichtsbeschwerde wird geltend gemacht, auf Grund psychischer Beeinträchtigungen sei eine weitergehende Arbeits- und Erwerbsunfähigkeit zu berücksichtigen. Demnach ist vorliegend zu prüfen, ob sich die vom Versicherten geklagte somatoforme Schmerzstörung auf seine Restarbeitsfähigkeit in einer ihm zumutbaren Tätigkeit auswirkt und ob die darauf gestützte Berechnung des Invaliditäts-grades mittels Einkommensvergleich Anspruch auf eine höhere Rente gibt.
2.3 Im vorinstanzlichen Entscheid hat sich das kantonale Gericht diesbezüglich mit den Arztberichten von Dr. med. E._, Ärztin für Psychiatrie und Psychotherapie, vom 11. Dezember 2002 und 10. März 2003 auseinandergesetzt. Es hat befunden, diesen Erhebungen komme kein Beweiswert zu, weil im Zeitpunkt des Verfügungserlasses keine psychisch bedingte Arbeitsunfähigkeit bestand. Die Ärztin habe offenbar nicht über die vollständigen Vorakten verfügt. Zudem sei die von ihr gestellte Diagnose insofern nicht nachvollziehbar, als gemäss Definition ICD-10 F45.4 eine anhaltende somatoforme Schmerzstörung von einem Schmerzbild ausgehe, für welches kein organisches Korrelat bestehe, während dieses vorliegend jedoch gegeben sei. Der Beschwerdeführer habe sich vor dem Erlass der Verfügung im Rahmen des Vorbescheidverfahrens ausdrücklich mit einem (rheumatologisch bedingten) Invaliditätsgrad von 50 % einverstanden erklärt. Nachdem sich aus den Akten keinerlei Hinweise auf eine psychisch verursachte Arbeitsunfähigkeit im Zeitpunkt des Verfügungserlasses ergeben habe, seien weitere medizinische Abklärungen nicht angebracht und von einem psychiatrischen Gutachten keine neuen Erkenntnisse zu erwarten. Den übrigen medizinischen Akten sei kein Hinweis auf eine weitergehende Arbeitsunfähigkeit zu entnehmen.
2.4 Das kantonale Gericht hat in sorgfältiger und einlässlich begründeter Würdigung der medizinischen Aktenlage zu Recht hauptsächlich auf den überzeugenden, von Dr. med. M._ am 18. Juni 2001 erstellten Arztbericht abgestellt und auf eine 50 %ige Arbeitsunfähigkeit des Beschwerdeführers in einer körperlich leichten und mittelschweren Tätigkeiten geschlossen. Diese Erkenntnisse sind nicht zu beanstanden. Insbesondere kann auf die Berichte von Dr. med. E._ aus den oben (Erw. 2.3) erwähnten Gründen nicht abgestellt werden. Es kommt hinzu, dass eine somatoforme Schmerzstörung allein eine langdauernde, zu einer Invalidität führende Einschränkung der Arbeitsfähigkeit im Sinne von <ref-law> in der Regel nicht zu bewirken vermag (zur Publikation vorgesehenes Urteil des Eidgenössischen Versicherungsgerichts vom 12. März 2004, I 683/03). Die Voraussetzungen für ein Abweichen von dieser Regel sind ausweislich der Akten nicht erfüllt.
2.5 In erwerblicher Hinsicht hat die Vorinstanz befunden, nach Ermittlung des Invalideneinkommens nach Tabellenlöhne (LSE) sowie einer Herabsetzung des statistischen Lohnes um 15 % resultiere aus dem Vergleich der beiden Einkommen (Valideneinkommen von Fr. 54'124.- und Invalideneinkommen von Fr. 24'174.-) ein Invaliditätsgrad von 55 %. In der Verwaltungsgerichtsbeschwerde wird der Einwand erhoben, im vorliegenden Fall sei ein behinderungsbedingter Abzug von 25 % zu berücksichtigen. Der Beschwerdeführer macht insbesondere geltend, es bestünden ausreichend Anhaltspunkte dafür, dass ihm wegen mehrerer Merkmale der höchstmögliche Abzug zustünde. Dabei geht er davon aus, ab einem Invaliditätsgrad von 60 % würde ihm eine 3⁄4-Rente zustehen.
Die Vorinstanz hat den Invaliditätsgrad des Versicherten auf Grund der Gegenüberstellung eines Valideneinkommens von Fr. 54'124.- und eines Invalideneinkommen von Fr. 24'174.- zutreffend erörtert. Zudem besteht entgegen der Auffassung des Versicherten kein Anlass, den von der Verwaltung festgesetzten und vom kantonalen Gericht bestätigten Abzug in Frage zu stellen. Dabei ist darauf hinzuweisen, dass der intertemporalrechtlichen Regelung entsprechend (vgl. Erw. 1) die am 1. Januar 2004 in Kraft getretenen Änderungen des Bundesgesetzes über die Invalidenversicherung vom 21. März 2003 und der Verordnung über die Invalidenversicherung vom 21. Mai 2003 im vorliegenden Fall nicht zur Anwendung gelangen (<ref-ruling> Erw. 1.2). Da ein leidensbedingter Abzug von 25 % lediglich einen Invaliditätsgrad von rund 60 % zur Folge hätte, die Zusprechung einer ganzen Rente nach dem bis zum 31. Dezember 2003 in Kraft gewesenen Recht jedoch einen Invaliditätsgrad von 66 2/3 voraussetzt, würde auch die Anerkennung des höchstmöglichen Abzugs zu keinem anderen Ergebnis führen.
Nach dem Gesagten erfüllt der Beschwerdeführer die Voraussetzungen für den Anspruch auf eine ganze Invalidenrente nicht, wie die Vorinstanz zutreffend entschieden hat.

Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2. Es werden keine Gerichtskosten erhoben.
2. Es werden keine Gerichtskosten erhoben.
3. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kan-tons Solothurn, der Ausgleichskasse des Kantons Solothurn und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 2. Juni 2004
Im Namen des Eidgenössischen Versicherungsgerichts
Der Präsident der IV. Kammer: Der Gerichtsschreiber: