Sachverhalt: A. Nachdem die IV-Stelle Bern dem 1983 geborenen A._ Sonderschulmassnahmen vom 1. August 1999 bis 31. Juli 2000 zugesprochen hatte, meldete er sich im Januar 2013 erneut bei der Invalidenversicherung zum Leistungsbezug an. Mit Vorbescheid vom 12. März 2014 stellte die IV-Stelle Bern die Verneinung des Anspruches auf eine Rente in Aussicht, worauf A._ um unentgeltliche Verbeiständung im Vorbescheidverfahren ersuchte. Dieses Rechtsbegehren wies die IV-Stelle mit Verfügung vom 3. Juni 2014 ab. B. Dagegen liess A._ Beschwerde führen. Das Verwaltungsgericht des Kantons Bern wies das gleichzeitig gestellte Gesuch um unentgeltliche Rechtspflege für das Beschwerdeverfahren mit Verfügung vom 16. September 2014 und das Rechtsmittel mit Entscheid vom 28. Januar 2015 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt A._ beantragen, unter Aufhebung der Verfügung vom 3. Juni 2014 und des Entscheids vom 28. Januar 2015 sei ihm für das Verwaltungs- und das kantonale Beschwerdeverfahren die unentgeltliche Rechtspflege unter Einsetzung seines Rechtsvertreters zum unentgeltlichen Rechtsbeistand zu gewähren; eventualiter sei die Sache zur weiteren Abklärung und erneuten Entscheidung an die IV-Stelle und das kantonale Gericht zurückzuweisen. Ferner ersucht er auch für das bundesgerichtliche Beschwerdeverfahren um unentgeltliche Rechtspflege. Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Stellungnahme. A._ lässt eine weitere Eingabe einreichen.