Sachverhalt:
Sachverhalt:
A. Am 23. Juli 1999 meldete sich der 1953 geborene H._ ein erstes Mal bei der Invalidenversicherung zum Leistungsbezug an. Das Spital B._, Neurologische Klinik und Poliklinik, diagnostizierte im Gutachten vom 3. Januar 2002 eine Vestibulopathie rechts unklarer Ätiologie mit rezidivierenden Drehschwindelattacken sowie pancochleärer Schwerhörigkeit rechts ebenso unklarer Ätiologie; anamnestische Hypercholesterinämie. Angesichts der Seltenheit der Attacken (viermal pro Monat) und der relativ kurzen Dauer sei eine Arbeitsunfähigkeit von höchstens 10 % gegeben. Patienten mit vergleichbaren Störungen blieben in der Regel arbeitsfähig. Der Psychiater Dr. med. E._ diagnostizierte in der Expertise vom 19. März 2002 Alleinleben (ICD-10: Z60.2) sowie Schwierigkeiten bei der kulturellen Eingewöhnung (Z60.3). Es bestehe keine Einschränkung der Arbeitsfähigkeit. Mit Verfügung vom 10. Juni 2002 wies die IV-Stelle des Kantons Solothurn den Anspruch auf berufliche Massnahmen und Invalidenrente ab, da der Versicherte weiterhin vollschichtig der angestammten Tätigkeit als Hilfsmetzger bzw. jeder anderen Hilfsarbeitertätigkeit nachgehen und ein rentenausschliessendes Einkommen erzielen könne. Es lägen invaliditätsfremde Gründe vor, die bei der Prüfung des Invaliditätsgrades nicht zu berücksichtigen seien. Bei der Berechnung des Invalideneinkommens sei ein behinderungsbedingter Abzug von 15 % vorgenommen worden, da während der Schwindelattacken ein kurzes Aussetzen der Arbeit notwendig sei.
Am 10. März 2003 meldete sich der Versicherte bei der IV-Stelle erneut zum Leistungsbezug an. Nach Einholung eines Berichts des Hausarztes Dr. med. M._, praktischer Arzt, vom 30. März 2003 verneinte die IV-Stelle wiederum - mit im Wesentlichen gleicher Begründung wie am 10. Juni 2002 - den Anspruch auf berufliche Massnahmen und Invalidenrente. Ergänzend wurde ausgeführt, eine invaliditätsrelevante Verschlechterung des Gesundheitszustandes sei seit der Verfügung vom 10. Juni 2002 nicht nachgewiesen (Verfügung vom 31. Juli 2003). Mit Einsprache vom 28. August/31. Oktober 2003 beantragte der nunmehr anwaltlich vertretene Versicherte die Aufhebung der Verfügung, die Zusprechung der gesetzlichen Leistungen sowie die Gewährung der unentgeltlichen Rechtspflege und Verbeiständung. Mit Entscheid vom 18. Dezember 2003 wies die IV-Stelle die Einsprache in materieller Hinsicht ab. Mit separater Verfügung vom 18. Dezember 2003 wies sie das Gesuch um unentgeltliche Verbeiständung für das Einspracheverfahren ab.
Am 10. März 2003 meldete sich der Versicherte bei der IV-Stelle erneut zum Leistungsbezug an. Nach Einholung eines Berichts des Hausarztes Dr. med. M._, praktischer Arzt, vom 30. März 2003 verneinte die IV-Stelle wiederum - mit im Wesentlichen gleicher Begründung wie am 10. Juni 2002 - den Anspruch auf berufliche Massnahmen und Invalidenrente. Ergänzend wurde ausgeführt, eine invaliditätsrelevante Verschlechterung des Gesundheitszustandes sei seit der Verfügung vom 10. Juni 2002 nicht nachgewiesen (Verfügung vom 31. Juli 2003). Mit Einsprache vom 28. August/31. Oktober 2003 beantragte der nunmehr anwaltlich vertretene Versicherte die Aufhebung der Verfügung, die Zusprechung der gesetzlichen Leistungen sowie die Gewährung der unentgeltlichen Rechtspflege und Verbeiständung. Mit Entscheid vom 18. Dezember 2003 wies die IV-Stelle die Einsprache in materieller Hinsicht ab. Mit separater Verfügung vom 18. Dezember 2003 wies sie das Gesuch um unentgeltliche Verbeiständung für das Einspracheverfahren ab.
B. Die gegen die Verfügung vom 18. Dezember 2003 betreffend Verweigerung der unentgeltlichen Verbeiständung erhobene Beschwerde wies das Versicherungsgericht des Kantons Solothurn mit Entscheid vom 11. März 2004 ab.
B. Die gegen die Verfügung vom 18. Dezember 2003 betreffend Verweigerung der unentgeltlichen Verbeiständung erhobene Beschwerde wies das Versicherungsgericht des Kantons Solothurn mit Entscheid vom 11. März 2004 ab.
C. Mit Verwaltungsgerichtsbeschwerde beantragt der Versicherte die Aufhebung des kantonalen Entscheides; für das Einspracheverfahren vor der IV-Stelle und für das kantonale Verfahren seien ihm die unentgeltliche Rechtspflege und Rechtsverbeiständung zu gewähren; eventuell sei die Sache an das kantonale Gericht respektive an die IV-Stelle zur Neubeurteilung respektive zur ergänzenden Abklärung zurückzuweisen. Ferner ersucht der Versicherte um Gewährung der unentgeltlichen Rechtspflege und Verbeiständung für das letztinstanzliche Verfahren.
Die IV-Stelle schliesst sinngemäss auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherung auf eine Vernehmlassung verzichtet.

Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. Da es sich bei der angefochtenen Verfügung nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen handelt, hat das Eidgenössische Versicherungsgericht nur zu prüfen, ob das vorinstanzliche Gericht Bundesrecht verletzt hat, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt worden ist (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
1. Da es sich bei der angefochtenen Verfügung nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen handelt, hat das Eidgenössische Versicherungsgericht nur zu prüfen, ob das vorinstanzliche Gericht Bundesrecht verletzt hat, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt worden ist (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
2. 2.1 Das kantonale Gericht hat die Bestimmungen über die unentgeltliche Verbeiständung im Sozialversicherungsverfahren (Art. 37 Abs. 1 und 4 ATSG, in Kraft seit 1. Januar 2003; vgl. auch <ref-law>) und die Form der Einsprache (<ref-law>, <ref-law>) zutreffend dargelegt. Gleiches gilt hinsichtlich der Rechtsprechung zu den Voraussetzungen der unentgeltlichen Verbeiständung (<ref-ruling> Erw. 2.3.1, 125 V 202 Erw. 4a und 372 Erw. 5b, 122 I 10 Erw. 2c, 119 Ia 266 Erw. 3b, 117 Ia 281 Erw. 5b/bb, 117 V 408 ff., 114 V 228 ff.), die nach dem Willen des Gesetzgebers weiterhin anwendbar ist (BBl 1999 V S. 4595; Kieser, ATSG-Kommentar, Art. 37 Rz 15 ff.).
2.2 Zu ergänzen ist, dass hinsichtlich der sachlichen Gebotenheit der unentgeltlichen Verbeiständung die Umstände des Einzelfalls, die Eigenheiten der anwendbaren Verfahrensvorschriften sowie die Besonderheiten des jeweiligen Verfahrens zu berücksichtigen sind. Dabei fallen neben der Komplexität der Rechtsfragen und der Unübersichtlichkeit des Sachverhalts auch in der Person des Betroffenen liegende Gründe in Betracht, wie etwa seine Fähigkeit, sich im Verfahren zurechtzufinden (Schwander, Anmerkung zu <ref-ruling>, in: AJP 1996 S. 495). Falls ein besonders starker Eingriff in die Rechtsstellung des Bedürftigen droht, ist die Verbeiständung grundsätzlich geboten, andernfalls bloss, wenn zur relativen Schwere des Falls besondere tatsächliche oder rechtliche Schwierigkeiten hinzukommen, denen der Gesuchsteller auf sich alleine gestellt nicht gewachsen ist (<ref-ruling> Erw. 3b, 117 Ia 281 Erw. 5b), und wenn auch eine Verbeiständung durch Verbandsvertreter, Fürsorger oder andere Fach- und Vertrauensleute sozialer Institutionen nicht in Betracht fällt (<ref-ruling> Erw. 2, 114 V 236 Erw. 5b; AHI 2000 S. 163 f. Erw. 2a und b). Die sachliche Notwendigkeit wird nicht allein dadurch ausgeschlossen, dass das in Frage stehende Verfahren von der Offizialmaxime oder dem Untersuchungsgrundsatz beherrscht wird, die Behörde also gehalten ist, an der Ermittlung des rechtserheblichen Sachverhaltes mitzuwirken (<ref-ruling> Erw. 3b, 117 Ia 281 Erw. 5b/bb; Schwander, a.a.O., S. 495). Die Offizialmaxime rechtfertigt es jedoch, an die Voraussetzungen, unter denen eine anwaltliche Verbeiständung sachlich geboten ist, einen strengen Massstab anzulegen (<ref-ruling> f. Erw. 4b; AHI 2000 S. 164 Erw. 2b).
2.2 Zu ergänzen ist, dass hinsichtlich der sachlichen Gebotenheit der unentgeltlichen Verbeiständung die Umstände des Einzelfalls, die Eigenheiten der anwendbaren Verfahrensvorschriften sowie die Besonderheiten des jeweiligen Verfahrens zu berücksichtigen sind. Dabei fallen neben der Komplexität der Rechtsfragen und der Unübersichtlichkeit des Sachverhalts auch in der Person des Betroffenen liegende Gründe in Betracht, wie etwa seine Fähigkeit, sich im Verfahren zurechtzufinden (Schwander, Anmerkung zu <ref-ruling>, in: AJP 1996 S. 495). Falls ein besonders starker Eingriff in die Rechtsstellung des Bedürftigen droht, ist die Verbeiständung grundsätzlich geboten, andernfalls bloss, wenn zur relativen Schwere des Falls besondere tatsächliche oder rechtliche Schwierigkeiten hinzukommen, denen der Gesuchsteller auf sich alleine gestellt nicht gewachsen ist (<ref-ruling> Erw. 3b, 117 Ia 281 Erw. 5b), und wenn auch eine Verbeiständung durch Verbandsvertreter, Fürsorger oder andere Fach- und Vertrauensleute sozialer Institutionen nicht in Betracht fällt (<ref-ruling> Erw. 2, 114 V 236 Erw. 5b; AHI 2000 S. 163 f. Erw. 2a und b). Die sachliche Notwendigkeit wird nicht allein dadurch ausgeschlossen, dass das in Frage stehende Verfahren von der Offizialmaxime oder dem Untersuchungsgrundsatz beherrscht wird, die Behörde also gehalten ist, an der Ermittlung des rechtserheblichen Sachverhaltes mitzuwirken (<ref-ruling> Erw. 3b, 117 Ia 281 Erw. 5b/bb; Schwander, a.a.O., S. 495). Die Offizialmaxime rechtfertigt es jedoch, an die Voraussetzungen, unter denen eine anwaltliche Verbeiständung sachlich geboten ist, einen strengen Massstab anzulegen (<ref-ruling> f. Erw. 4b; AHI 2000 S. 164 Erw. 2b).
3. Streitig ist als Erstes, ob der Beschwerdeführer in dem der Verfügung vom 31. Juli 2003 (erneute Verneinung des Anspruchs auf berufliche Massnahmen und Invalidenrente) folgenden Einspracheverfahren Anspruch auf unentgeltliche Verbeiständung hat.
3.1 Die IV-Stelle legte dar, es sei zu klären gewesen, ob sich der Gesundheitszustand des Versicherten verschlechtert habe. Das Verfahren sei relativ einfach gewesen; es hätten sich keine komplexen Fragen gestellt. Sie habe die Arztberichte von Amtes wegen zu überprüfen. Eine anwaltliche Vertretung sei daher nicht notwendig gewesen.
Die Vorinstanz führte aus, der Versicherte spreche gut deutsch und werde in vielen Fragen von seinen Nachbarn betreut. Für die Einreichung einer Einsprache brauche es keine juristischen Kenntnisse. Es genüge, mündlich oder schriftlich zu erklären, mit der Verfügung nicht einverstanden zu sein, was die Einleitung eines Offizialverfahrens durch die IV-Stelle zur Folge habe. Gegen den Einspracheentscheid stehe das Rechtsmittel der Beschwerde zur Verfügung. Folglich sei eine anwaltliche Vertretung nicht erforderlich gewesen.
Der Versicherte machte im Wesentlichen geltend, im Einspracheverfahren sei es um die Würdigung sich widersprechender Arztberichte und um Ermessensfragen gegangen. Eine Gegendarstellung zur einseitigen Sicht der IV-Stelle sei nötig gewesen. Es hätten ihm die sprachlichen und rechtlichen Kenntnisse gefehlt, um im Einsprache- und Beschwerdeverfahren selbst zu handeln.
3.2 Aus folgenden Gründen kann offen bleiben, ob der Beschwerdeführer seine Rechte alleine hätte wahren können.
Am 12. April 2002 beauftragte er die Institution P._ mit der Wahrung seiner Interessen. Diese nahm am 27. Mai 2002 zum Vorbescheid der IV-Stelle vom 4. April 2002 Stellung. Bei der zweiten Anmeldung zum Leistungsbezug vom 10. März 2003 liess sich der Versicherte durch die Institution I._ AG, verbeiständen. Am 10. April 2003 teilte die Institution P._ der IV-Stelle mit, die Beratung des Versicherten sei vorläufig abgeschlossen.
Es sind keine Gründe ersichtlich, weshalb sich der Versicherte in dem der Verfügung vom 31. Juli 2003 folgenden Einspracheverfahren nicht weiter durch die Institution I._ AG oder erneut durch die Institution P._ verbeiständen liess. Denn es kann nicht gesagt werden, dass diese Institutionen nicht in der Lage gewesen sein sollten, ihn in jenem Verfahren, wo es um die Feststellung der Arbeitsfähigkeit und hierbei um die Würdigung der Arztberichte ging, zu beraten und zu verbeiständen. Von schwierigen rechtlichen oder tatsächlichen Fragen, die ausnahmsweise den Beizug eines Anwalts notwendig gemacht hätten (<ref-ruling> Erw. 2), kann nicht gesprochen werden.
Demnach erweist sich die Verneinung des Anspruchs auf unentgeltliche Verbeiständung im Einspracheverfahren im Ergebnis als rechtens.
Demnach erweist sich die Verneinung des Anspruchs auf unentgeltliche Verbeiständung im Einspracheverfahren im Ergebnis als rechtens.
4. Das Gesuch um unentgeltliche Verbeiständung im vorinstanzlichen Verfahren wies das kantonale Gericht zu Recht wegen Aussichtslosigkeit der Beschwerde ab. Hieran ändert nichts, dass IV-Stelle und Vorinstanz nicht explizit auf die Möglichkeit der Verbeiständung durch eine soziale Institution hinwiesen. Denn angesichts der konstanten Praxis des Eidgenössischen Versicherungsgerichts zur Verbeiständung durch Verbandsvertreter, Fürsorger oder andere Fach- und Vertrauensleute (Erw. 2.2 hievor) und auf Grund der Aktenlage hätte der Rechtsvertreter vor Einreichung der Beschwerde zum Schluss kommen müssen, dass höchst wahrscheinlich kein Anspruch auf unentgeltliche Verbeiständung durch einen Anwalt bestehen konnte und der Prozess damit als aussichtslos im Sinne der Rechtsprechung zu betrachten war (<ref-ruling> Erw. 2.3.1 mit Hinweis).
4. Das Gesuch um unentgeltliche Verbeiständung im vorinstanzlichen Verfahren wies das kantonale Gericht zu Recht wegen Aussichtslosigkeit der Beschwerde ab. Hieran ändert nichts, dass IV-Stelle und Vorinstanz nicht explizit auf die Möglichkeit der Verbeiständung durch eine soziale Institution hinwiesen. Denn angesichts der konstanten Praxis des Eidgenössischen Versicherungsgerichts zur Verbeiständung durch Verbandsvertreter, Fürsorger oder andere Fach- und Vertrauensleute (Erw. 2.2 hievor) und auf Grund der Aktenlage hätte der Rechtsvertreter vor Einreichung der Beschwerde zum Schluss kommen müssen, dass höchst wahrscheinlich kein Anspruch auf unentgeltliche Verbeiständung durch einen Anwalt bestehen konnte und der Prozess damit als aussichtslos im Sinne der Rechtsprechung zu betrachten war (<ref-ruling> Erw. 2.3.1 mit Hinweis).
5. Streitigkeiten im Zusammenhang mit der unentgeltlichen Rechtspflege unterliegen grundsätzlich nicht der Kostenpflicht, weshalb keine Gerichtskosten zu erheben sind (SVR 2002 ALV Nr. 3 S. 7 Erw. 5). Das Gesuch um unentgeltliche Rechtspflege im Sinne der Befreiung von den Gerichtskosten erweist sich daher als gegenstandslos.
Die Gewährung der unentgeltlichen Verbeiständung fällt zufolge Aussichtslosigkeit der Verwaltungsgerichtsbeschwerde ausser Betracht (Art. 152 Abs. 1 in Verbindung mit Art. 135 OG).

Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2. Es werden keine Gerichtskosten erhoben.
2. Es werden keine Gerichtskosten erhoben.
3. Das Gesuch um unentgeltliche Verbeiständung wird abgewiesen.
3. Das Gesuch um unentgeltliche Verbeiständung wird abgewiesen.
4. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Solothurn, der Ausgleichskasse Promea und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 6. Juli 2004
Im Namen des Eidgenössischen Versicherungsgerichts
Die Präsidentin der III. Kammer: Der Gerichtsschreiber: