Sachverhalt: Sachverhalt: A. Am 23. Juli 1999 meldete sich der 1953 geborene H._ ein erstes Mal bei der Invalidenversicherung zum Leistungsbezug an. Das Spital B._, Neurologische Klinik und Poliklinik, diagnostizierte im Gutachten vom 3. Januar 2002 eine Vestibulopathie rechts unklarer Ätiologie mit rezidivierenden Drehschwindelattacken sowie pancochleärer Schwerhörigkeit rechts ebenso unklarer Ätiologie; anamnestische Hypercholesterinämie. Angesichts der Seltenheit der Attacken (viermal pro Monat) und der relativ kurzen Dauer sei eine Arbeitsunfähigkeit von höchstens 10 % gegeben. Patienten mit vergleichbaren Störungen blieben in der Regel arbeitsfähig. Der Psychiater Dr. med. E._ diagnostizierte in der Expertise vom 19. März 2002 Alleinleben (ICD-10: Z60.2) sowie Schwierigkeiten bei der kulturellen Eingewöhnung (Z60.3). Es bestehe keine Einschränkung der Arbeitsfähigkeit. Mit Verfügung vom 10. Juni 2002 wies die IV-Stelle des Kantons Solothurn den Anspruch auf berufliche Massnahmen und Invalidenrente ab, da der Versicherte weiterhin vollschichtig der angestammten Tätigkeit als Hilfsmetzger bzw. jeder anderen Hilfsarbeitertätigkeit nachgehen und ein rentenausschliessendes Einkommen erzielen könne. Es lägen invaliditätsfremde Gründe vor, die bei der Prüfung des Invaliditätsgrades nicht zu berücksichtigen seien. Bei der Berechnung des Invalideneinkommens sei ein behinderungsbedingter Abzug von 15 % vorgenommen worden, da während der Schwindelattacken ein kurzes Aussetzen der Arbeit notwendig sei. Am 10. März 2003 meldete sich der Versicherte bei der IV-Stelle erneut zum Leistungsbezug an. Nach Einholung eines Berichts des Hausarztes Dr. med. M._, praktischer Arzt, vom 30. März 2003 verneinte die IV-Stelle wiederum - mit im Wesentlichen gleicher Begründung wie am 10. Juni 2002 - den Anspruch auf berufliche Massnahmen und Invalidenrente. Ergänzend wurde ausgeführt, eine invaliditätsrelevante Verschlechterung des Gesundheitszustandes sei seit der Verfügung vom 10. Juni 2002 nicht nachgewiesen (Verfügung vom 31. Juli 2003). Mit Einsprache vom 28. August/31. Oktober 2003 beantragte der nunmehr anwaltlich vertretene Versicherte die Aufhebung der Verfügung, die Zusprechung der gesetzlichen Leistungen sowie die Gewährung der unentgeltlichen Rechtspflege und Verbeiständung. Mit Entscheid vom 18. Dezember 2003 wies die IV-Stelle die Einsprache in materieller Hinsicht ab. Mit separater Verfügung vom 18. Dezember 2003 wies sie das Gesuch um unentgeltliche Verbeiständung für das Einspracheverfahren ab. Am 10. März 2003 meldete sich der Versicherte bei der IV-Stelle erneut zum Leistungsbezug an. Nach Einholung eines Berichts des Hausarztes Dr. med. M._, praktischer Arzt, vom 30. März 2003 verneinte die IV-Stelle wiederum - mit im Wesentlichen gleicher Begründung wie am 10. Juni 2002 - den Anspruch auf berufliche Massnahmen und Invalidenrente. Ergänzend wurde ausgeführt, eine invaliditätsrelevante Verschlechterung des Gesundheitszustandes sei seit der Verfügung vom 10. Juni 2002 nicht nachgewiesen (Verfügung vom 31. Juli 2003). Mit Einsprache vom 28. August/31. Oktober 2003 beantragte der nunmehr anwaltlich vertretene Versicherte die Aufhebung der Verfügung, die Zusprechung der gesetzlichen Leistungen sowie die Gewährung der unentgeltlichen Rechtspflege und Verbeiständung. Mit Entscheid vom 18. Dezember 2003 wies die IV-Stelle die Einsprache in materieller Hinsicht ab. Mit separater Verfügung vom 18. Dezember 2003 wies sie das Gesuch um unentgeltliche Verbeiständung für das Einspracheverfahren ab. B. Die gegen die Verfügung vom 18. Dezember 2003 betreffend Verweigerung der unentgeltlichen Verbeiständung erhobene Beschwerde wies das Versicherungsgericht des Kantons Solothurn mit Entscheid vom 11. März 2004 ab. B. Die gegen die Verfügung vom 18. Dezember 2003 betreffend Verweigerung der unentgeltlichen Verbeiständung erhobene Beschwerde wies das Versicherungsgericht des Kantons Solothurn mit Entscheid vom 11. März 2004 ab. C. Mit Verwaltungsgerichtsbeschwerde beantragt der Versicherte die Aufhebung des kantonalen Entscheides; für das Einspracheverfahren vor der IV-Stelle und für das kantonale Verfahren seien ihm die unentgeltliche Rechtspflege und Rechtsverbeiständung zu gewähren; eventuell sei die Sache an das kantonale Gericht respektive an die IV-Stelle zur Neubeurteilung respektive zur ergänzenden Abklärung zurückzuweisen. Ferner ersucht der Versicherte um Gewährung der unentgeltlichen Rechtspflege und Verbeiständung für das letztinstanzliche Verfahren. Die IV-Stelle schliesst sinngemäss auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherung auf eine Vernehmlassung verzichtet.