Sachverhalt:
Sachverhalt:
A. Der 1962 geborene H._ erlitt am 3. Februar 1998 einen Arbeitsunfall mit lumbospondylogenem Syndrom beidseits mit ISG-Syndrom. Am 15. Februar 1999 meldete er sich bei der IV-Stelle des Kantons Solothurn zum Leistungsbezug an. Mit Verfügung vom 13. Dezember 2001 sprach ihm die IV-Stelle ab 1. Februar 2001 bei einem Invaliditätsgrad von 46 % eine Viertelsrente zu. Die dagegen erhobene Beschwerde hiess das Versicherungsgericht des Kantons Solothurn in dem Sinne gut, dass es die Verfügung aufhob und die Sache an die IV-Stelle zurückwies, damit diese nach erfolgten Abklärungen im Sinne der Erwägungen über den Leistungsanspruch neu verfüge (Entscheid vom 18. September 2002).
Am 24. September 2002 ersuchte der Versicherte die IV-Stelle, ihm für das folgende Verwaltungsverfahren die unentgeltliche Verbeiständung zu gewähren. Mit Verfügung vom 23. Oktober 2002 wies die IV-Stelle dieses Gesuch ab.
Am 24. September 2002 ersuchte der Versicherte die IV-Stelle, ihm für das folgende Verwaltungsverfahren die unentgeltliche Verbeiständung zu gewähren. Mit Verfügung vom 23. Oktober 2002 wies die IV-Stelle dieses Gesuch ab.
B. Die gegen die Verfügung vom 23. Oktober 2002 am 25. November 2002 erhobene Beschwerde wies das Versicherungsgericht des Kantons Solothurn mit Entscheid vom 24. März 2004 ab.
B. Die gegen die Verfügung vom 23. Oktober 2002 am 25. November 2002 erhobene Beschwerde wies das Versicherungsgericht des Kantons Solothurn mit Entscheid vom 24. März 2004 ab.
C. Mit Verwaltungsgerichtsbeschwerde beantragt der Versicherte die Aufhebung des kantonalen Entscheides vom 24. März 2004; die IV-Stelle sei anzuweisen, ihm für das Verwaltungsverfahren mit Wirkung ab 24. September 2002 die unentgeltliche Verbeiständung zu bewilligen. Ferner ersucht er um Gewährung der unentgeltlichen Rechtspflege und Verbeiständung für das letztinstanzliche Verfahren.
Die IV-Stelle schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherung auf eine Vernehmlassung verzichtet.

Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. Da die strittige Verfügung vom 23. Oktober 2002 nicht die Bewilligung oder Verweigerung von Versicherungsleistungen zum Gegenstand hat, prüft das Eidgenössische Versicherungsgericht nur, ob das vorinstanzliche Gericht Bundesrecht verletzte, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt wurde (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
1. Da die strittige Verfügung vom 23. Oktober 2002 nicht die Bewilligung oder Verweigerung von Versicherungsleistungen zum Gegenstand hat, prüft das Eidgenössische Versicherungsgericht nur, ob das vorinstanzliche Gericht Bundesrecht verletzte, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt wurde (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
2. 2.1 Die Vorinstanz hat unter Hinweis auf die zu Art. 4 aBV ergangene Rechtsprechung (<ref-ruling>, 122 I 10 Erw. 2c, 119 Ia 265 Erw. 3b, 117 Ia 281 Erw. 5b, 117 V 408 Erw. 5a und 114 V 235 Erw. 5b; vgl. auch AHI 2000 S. 162) die sachlichen Voraussetzungen, unter denen im Verwaltungsverfahren der Invalidenversicherung ein Anspruch auf unentgeltliche Verbeiständung besteht, zutreffend dargelegt. Richtig ist auch der Hinweis darauf, dass der Anspruch auf unentgeltlichen Rechtsbeistand in Art. 29 Abs. 3 Satz 2 der auf den 1. Januar 2000 in Kraft getretenen neuen Bundesverfassung vom 18. April 1999 ausdrücklich vorgesehen ist und hinsichtlich der Voraussetzungen (Bedürftigkeit der Partei, fehlende Aussichtslosigkeit der Rechtsbegehren, sachliche Gebotenheit im konkreten Fall) dem aus Art. 4 aBV abgeleiteten Anspruch entspricht (Botschaft des Bundesrates vom 20. November 1996 über eine neue Bundesverfassung, BBl 1997 I 182; Urteil R. vom 25. März 2003 Erw. 3, I 864/02). Darauf wird verwiesen.
2.2 Beizupflichten ist im Weiteren den Erwägungen der Vorinstanz, dass das am 1. Januar 2003 in Kraft getretene Bundesgesetz über den Allgemeinen Teil des Sozialversicherungsrechts (ATSG) vom 6. Oktober 2000 grundsätzlich nicht anwendbar ist, da nach dem massgebenden Zeitpunkt des Erlasses der streitigen Verfügung eingetretene Rechts- und Sachverhaltsänderungen vom Sozialversicherungsgericht nicht berücksichtigt werden (<ref-ruling> Erw. 1.2).
Diesbezüglich ist Folgendes zu ergänzen: Das Verwaltungs- und das nachfolgende Einspracheverfahren erstreckten sich über den 1. Januar 2003 hinaus (Erw. 4.2.1 hienach). Der Anspruch auf unentgeltliche Verbeiständung nach diesem Zeitpunkt beurteilt sich mithin nach dem ATSG. Gemäss <ref-law> kann sich die Partei, wenn sie nicht persönlich zu handeln hat, jederzeit vertreten, oder, soweit die Dringlichkeit der Untersuchung es nicht ausschliesst, verbeiständen lassen (Abs. 1). Wo die Verhältnisse es erfordern, wird der gesuchstellenden Person ein unentgeltlicher Rechtsbeistand bewilligt (Abs. 4). Die im Rahmen von aArt. 4 BV zu den Voraussetzungen der unentgeltlichen Verbeiständung ergangene Rechtsprechung (Erw. 2.1 hievor) ist nach dem Willen des Gesetzgebers weiterhin anwendbar (BBl 1999 V S. 4595; Kieser, Kommentar ATSG, Art. 37 Rz 15 ff.; Urteil H. vom 6. Juli 2004 Erw. 2.1, I 186/04).
Diesbezüglich ist Folgendes zu ergänzen: Das Verwaltungs- und das nachfolgende Einspracheverfahren erstreckten sich über den 1. Januar 2003 hinaus (Erw. 4.2.1 hienach). Der Anspruch auf unentgeltliche Verbeiständung nach diesem Zeitpunkt beurteilt sich mithin nach dem ATSG. Gemäss <ref-law> kann sich die Partei, wenn sie nicht persönlich zu handeln hat, jederzeit vertreten, oder, soweit die Dringlichkeit der Untersuchung es nicht ausschliesst, verbeiständen lassen (Abs. 1). Wo die Verhältnisse es erfordern, wird der gesuchstellenden Person ein unentgeltlicher Rechtsbeistand bewilligt (Abs. 4). Die im Rahmen von aArt. 4 BV zu den Voraussetzungen der unentgeltlichen Verbeiständung ergangene Rechtsprechung (Erw. 2.1 hievor) ist nach dem Willen des Gesetzgebers weiterhin anwendbar (BBl 1999 V S. 4595; Kieser, Kommentar ATSG, Art. 37 Rz 15 ff.; Urteil H. vom 6. Juli 2004 Erw. 2.1, I 186/04).
3. Der Psychiater Dr. med. E._ diagnostizierte im Gutachten vom 2. April 2001 Anpassungsprobleme bei Veränderung der Lebensumstände (ICD-10: Z60.0), Familienzerrüttung durch Trennung (ICD-10: Z63.5), eine somatoforme Schmerzstörung (ICD-10: F45.0) und längere depressive Reaktion als Anpassungsstörung (ICD-10: F43.21). Die somatoforme Schmerzstörung schränke die Arbeitsfähigkeit um ca. 40 % ein. Die Psychiatrische Klinik X._, in welcher der Versicherte mehrmals, auf Grund der Akten zuletzt vom 27. Juni bis 11. Juli 2002, hospitalisiert war, diagnostizierte im Austrittsbericht vom 31. Juli 2002 neben einer anhaltenden somatoformen Schmerzstörung (ICD-10: F45.4) eine rezidivierende depressive Störung, aktuell mittelgradige Episode (ICD-10: F33.1). Mit Verfügung vom 13. Dezember 2001 sprach die IV-Stelle dem Versicherten ab 1. Februar 2001 bei einem Invaliditätsgrad von 46 % eine Viertelsrente zu.
Die Vorinstanz wies die IV-Stelle im Rückweisungsentscheid vom 18. September 2002 an, in Ergänzung zu den vorhandenen unklaren und zum Teil widersprüchlichen medizinischen Erhebungen weitere Abklärungen zum psychischen Gesundheitszustand des Versicherten zu treffen.
Die Vorinstanz wies die IV-Stelle im Rückweisungsentscheid vom 18. September 2002 an, in Ergänzung zu den vorhandenen unklaren und zum Teil widersprüchlichen medizinischen Erhebungen weitere Abklärungen zum psychischen Gesundheitszustand des Versicherten zu treffen.
4. Streitig und zu prüfen ist, ob es geboten war, dass sich der Beschwerdeführer in dem an den kantonalen Rückweisungsentscheid anschliessenden Verwaltungsverfahren anwaltlich verbeiständen liess.
4.1 Die Geltung der Offizialmaxime schliesst die unentgeltliche Verbeiständung nicht aus; entscheidend ist vielmehr deren sachliche Gebotenheit im konkreten Fall, unter Berücksichtigung der Umstände des Einzelfalls, der Eigenheiten der anwendbaren Verfahrensvorschriften und der Besonderheiten des jeweiligen Verfahrens (<ref-ruling> f. Erw. 4b).
4.1 Die Geltung der Offizialmaxime schliesst die unentgeltliche Verbeiständung nicht aus; entscheidend ist vielmehr deren sachliche Gebotenheit im konkreten Fall, unter Berücksichtigung der Umstände des Einzelfalls, der Eigenheiten der anwendbaren Verfahrensvorschriften und der Besonderheiten des jeweiligen Verfahrens (<ref-ruling> f. Erw. 4b).
4.2 4.2.1 Auf Intervention des Rechtsvertreters vom 5. November 2002 hin zog die IV-Stelle mit Dr. med. I._ einen anderen als den von ihr ursprünglich vorgesehenen psychiatrischen Gutachter bei.
Dr. med. I._ stellte in der Expertise vom 11. März 2003 folgende Diagnosen: rezidivierende depressive Störung, aktuell knapp mittelgradige, agitierte Episode mit somatischem Syndrom (ICD-10: F33.11); anhaltende somatoforme Schmerzstörung (ICD-10: F45.4) als Unfallverarbeitungsstörung mit Symptom-Amplifikationstendenz; psychosoziale Belastungssituation (Familienzerrüttung durch Trennung; ICD-10: Z63.5), familiäres Betroffensein von einem Krieg (ICD-10: Z65.5); Entwicklung körperlicher Symptome aus psychischen Gründen (ICD-10: F68.0). Auf dem offenen Arbeitsmarkt sei dem Versicherten keine Tätigkeit zumutbar. Im geschützten Rahmen sei er vier Stunden täglich mit einer Leistung von 40 % arbeitsfähig.
Gestützt hierauf sprach die IV-Stelle dem Versicherten ab 1. Februar 2001 bei einem Invaliditätsgrad von 100 % eine ganze Invalidenrente zu (Verfügungen vom 18. August und 29. September 2003). Die hiegegen erhobene Einsprache hiess sie teilweise gut und sprach dem Versicherten ab 1. November 1999 eine ganze Invalidenrente zu; für die Zeit vom 1. November 1999 bis 31. Januar 2001 werde, sobald die Rentenberechnung vorliege, eine neue Verfügung erlassen; über das Gesuch um unentgeltliche Verbeiständung werde separat entschieden, sobald das Versicherungsgericht über die Beschwerde vom 25. November 2002 entschieden habe (Entscheid vom 30. Oktober 2003).
4.2.2 Umstritten waren demnach die Person des Gutachters, der Gesundheitsschaden mit seinen Auswirkungen auf die Arbeitsfähigkeit und der Rentenbeginn. Das Verfahren war mithin sachverhaltsmässig und rechtlich nicht einfach. Für den Beschwerdeführer als medizinischen Laien war es schwer, das psychiatrische Gutachten objektiv zu würdigen, zumal er an psychischen Störungen leidet. Eine erhebliche Tragweite der Sache ist ohne weiteres zu bejahen.
Nicht stichhaltig ist das Argument der Vorinstanz, der Versicherte werde durch das Sozialamt Gerlafingen betreut, womit er grundsätzlich Zugang zu Fach- und Vertrauenspersonen gehabt habe (vgl. <ref-ruling> Erw. 2). Denn nachdem der Versicherte bereits im kantonalen Gerichtsverfahren, das zur Rückweisung der Sache an die IV-Stelle führte (Entscheid vom 18. September 2002), anwaltlich vertreten war, ist es angesichts der dargelegten nicht einfachen Fallumstände gerechtfertigt, dass er die anwaltliche Hilfe auch in dem an das Gerichtsverfahren anschliessenden Verwaltungsverfahren in Anspruch nahm (vgl. Kieser, a.a.O., Art. 37 Rz 21).
Die Sache ist demnach an die IV-Stelle zurückzuweisen, damit sie die weiteren Voraussetzungen des Anspruchs auf unentgeltliche Verbeiständung prüfe und darüber neu befinde.
Die Sache ist demnach an die IV-Stelle zurückzuweisen, damit sie die weiteren Voraussetzungen des Anspruchs auf unentgeltliche Verbeiständung prüfe und darüber neu befinde.
5. Streitigkeiten im Zusammenhang mit der unentgeltlichen Rechtspflege und Verbeiständung unterliegen grundsätzlich nicht der Kostenpflicht, weshalb keine Gerichtskosten zu erheben sind (SVR 2002 ALV Nr. 3 S. 7 Erw. 5). Das Gesuch des Versicherten um unentgeltliche Rechtspflege im Sinne der Befreiung von den Gerichtskosten erweist sich daher als gegenstandslos.
Da der Beschwerdeführer obsiegt, ist ihm zu Lasten der IV-Stelle eine Parteientschädigung zuzusprechen (Art. 135 in Verbindung mit Art. 159 OG). Das Gesuch um unentgeltliche Verbeiständung für das letztinstanzliche Verfahren erweist sich damit als gegenstandslos.

Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. Die Verwaltungsgerichtsbeschwerde wird in dem Sinne gutgeheissen, dass der Entscheid des Versicherungsgerichts des Kantons Solothurn vom 24. März 2004 und die Verfügung der IV-Stelle des Kantons Solothurn vom 23. Oktober 2002 aufgehoben werden und die Sache an die IV-Stelle zurückgewiesen wird, damit sie im Sinne der Erwägungen über den Anspruch auf unentgeltliche Verbeiständung für das Verwaltungsverfahren neu verfüge.
1. Die Verwaltungsgerichtsbeschwerde wird in dem Sinne gutgeheissen, dass der Entscheid des Versicherungsgerichts des Kantons Solothurn vom 24. März 2004 und die Verfügung der IV-Stelle des Kantons Solothurn vom 23. Oktober 2002 aufgehoben werden und die Sache an die IV-Stelle zurückgewiesen wird, damit sie im Sinne der Erwägungen über den Anspruch auf unentgeltliche Verbeiständung für das Verwaltungsverfahren neu verfüge.
2. Es werden keine Gerichtskosten erhoben.
2. Es werden keine Gerichtskosten erhoben.
3. Die Beschwerdegegnerin hat dem Beschwerdeführer für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Parteientschädigung von Fr. 2500.- (einschliesslich Mehrwertsteuer) zu bezahlen.
3. Die Beschwerdegegnerin hat dem Beschwerdeführer für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Parteientschädigung von Fr. 2500.- (einschliesslich Mehrwertsteuer) zu bezahlen.
4. Das Versicherungsgericht des Kantons Solothurn wird über eine Parteientschädigung für das kantonale Verfahren entsprechend dem Ausgang des letztinstanzlichen Prozesses zu befinden haben.
4. Das Versicherungsgericht des Kantons Solothurn wird über eine Parteientschädigung für das kantonale Verfahren entsprechend dem Ausgang des letztinstanzlichen Prozesses zu befinden haben.
5. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Solothurn, der Ausgleichskasse des Kantons Solothurn und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 29. Juli 2004
Im Namen des Eidgenössischen Versicherungsgerichts
Die Präsidentin der III. Kammer: Der Gerichtsschreiber: