Sachverhalt:
A.
Nachdem die IV-Stelle Bern dem 1983 geborenen A._ Sonderschulmassnahmen vom 1. August 1999 bis 31. Juli 2000 zugesprochen hatte, meldete er sich im Januar 2013 erneut bei der Invalidenversicherung zum Leistungsbezug an. Mit Vorbescheid vom 12. März 2014 stellte die IV-Stelle Bern die Verneinung des Anspruches auf eine Rente in Aussicht, worauf A._ um unentgeltliche Verbeiständung im Vorbescheidverfahren ersuchte. Dieses Rechtsbegehren wies die IV-Stelle mit Verfügung vom 3. Juni 2014 ab.
B.
Dagegen liess A._ Beschwerde führen. Das Verwaltungsgericht des Kantons Bern wies das gleichzeitig gestellte Gesuch um unentgeltliche Rechtspflege für das Beschwerdeverfahren mit Verfügung vom 16. September 2014 und das Rechtsmittel mit Entscheid vom 28. Januar 2015 ab.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt A._ beantragen, unter Aufhebung der Verfügung vom 3. Juni 2014 und des Entscheids vom 28. Januar 2015 sei ihm für das Verwaltungs- und das kantonale Beschwerdeverfahren die unentgeltliche Rechtspflege unter Einsetzung seines Rechtsvertreters zum unentgeltlichen Rechtsbeistand zu gewähren; eventualiter sei die Sache zur weiteren Abklärung und erneuten Entscheidung an die IV-Stelle und das kantonale Gericht zurückzuweisen. Ferner ersucht er auch für das bundesgerichtliche Beschwerdeverfahren um unentgeltliche Rechtspflege.
Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Stellungnahme. A._ lässt eine weitere Eingabe einreichen.

Erwägungen:
1.
1.1. Das Bundesgericht prüft seine Zuständigkeit und die Eintretensvoraussetzungen von Amtes wegen und mit freier Kognition (<ref-law>; <ref-ruling> E. 6 S. 320; <ref-ruling> E. 1.1 S. 3 mit Hinweisen; <ref-ruling> E. 1 S. 116). Gleiches gilt in Bezug auf das vorinstanzliche Verfahren (<ref-ruling> E. 4 S. 26; <ref-ruling> E. 2 S. 9).
1.2. Der gesuchstellenden Person wird ein unentgeltlicher Rechtsbeistand bewilligt, wo die Verhältnisse es für das Verwaltungsverfahren erfordern (<ref-law>) resp. für das kantonale Beschwerdeverfahren rechtfertigen (<ref-law>; vgl. auch <ref-law>).
1.3.
1.3.1. Der Entscheid, mit welchem das kantonale Versicherungsgericht - wie hier - ausschliesslich über den Anspruch der versicherten Person auf einen unentgeltlichen Rechtsbeistand im Verwaltungsverfahren eines Sozialversicherungsträgers (<ref-law>) befindet, ist kein End-, sondern ein Zwischenentscheid im Sinne von <ref-law> (<ref-ruling>; SVR 2014 IV Nr. 9 S. 36, 8C_328/2013 E. 3.1 mit Hinweisen).
1.3.2. In Anwendung von <ref-law> ist die Beschwerde gegen selbstständig eröffnete Vor- und Zwischenentscheide nur zulässig, wenn sie einen nicht wieder gutzumachenden Nachteil bewirken können (lit. a) oder wenn die Gutheissung der Beschwerde sofort einen Endentscheid herbeiführen und damit einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen würde (lit. b).
Wird in einem kantonalen Entscheid die erforderliche unentgeltliche Verbeiständung für das Administrativverfahren verweigert, droht der versicherten Person dadurch in aller Regel ein nicht wieder gutzumachender Nachteil rechtlicher Natur (vgl. <ref-ruling> E. 2a S. 210), welcher auch mit einem für die beschwerdeführende Partei günstigen Endentscheid nicht oder nicht vollständig behebbar (vgl. <ref-ruling> E. 2.1 S. 647 mit Hinweisen) ist (vgl. SVR 2015 IV Nr. 18 S. 53, 8C_557/2014 E. 2.4). Nach dem Gesagten ist auf die Beschwerde in Bezug auf die unentgeltliche Verbeiständung im Verwaltungsverfahren einzutreten.
1.4. Anders verhält es sich hinsichtlich des Antrags betreffend unentgeltliche Rechtspflege für das vorinstanzliche Verfahren, auf den nicht eingetreten werden kann: Der Beschwerdeführer begründet einen allfälligen Anspruch mit keinem Wort (vgl. Art. 42 Abs. 1 und 2 BGG). Zudem bildete der entsprechende Anspruch nicht Gegenstand des hier angefochtenen Zwischenentscheids (E. 1.3.1), sondern der vorinstanzlichen Verfügung vom 16. September 2014(vgl. <ref-law>).
1.5. Der Beschwerdeführer verlegte seinen Wohnsitz auf den 1. Oktober 2014, d.h. im Verlauf des vorinstanzlichen Verfahrens, vom Kanton Bern in den Kanton Aargau. Das ändert nichts an der örtlichen Zuständigkeit der IV-Stelle Bern für den Entscheid über die geltend gemachten Ansprüche (<ref-law> in Verbindung mit <ref-law> [SR 831.201]; vgl. auch Urteil 9C_892/2014 vom 6. März 2015 E. 3.2 mit Hinweisen) und an derjenigen des Verwaltungsgerichts des Kantons Bern für die Beurteilung der bei ihm erhobenen Beschwerde (<ref-law>).
2.
2.1. Kumulative Voraussetzungen für die unentgeltliche Verbeiständung im Rahmen von <ref-law> sind Bedürftigkeit, Nichtaussichtslosigkeit der Rechtsbegehren sowie sachliche Gebotenheit der Vertretung (<ref-ruling> E. 4.1 S. 200 f.). Das letzte - von der Vorinstanz nicht als gegeben erachtete - Kriterium im Besonderen ist mit Blick darauf, dass im sozialversicherungsrechtlichen Verwaltungsverfahren der Untersuchungsgrundsatz gilt (<ref-law>), nur in Ausnahmefällen zu bejahen. Es müssen sich schwierige Fragen rechtlicher oder tatsächlicher Natur stellen. Zu berücksichtigen sind die Umstände des Einzelfalles sowie die Besonderheiten des jeweiligen Verfahrens. Neben der Komplexität der Rechtsfragen und der Unübersichtlichkeit des Sachverhalts fallen auch in der Person des oder der Versicherten liegende Gründe in Betracht, wie etwa die Fähigkeit, sich im Verfahren zurechtzufinden. Schliesslich muss eine gehörige Interessenwahrung durch Dritte (Verbandsvertreter, Fürsorgestellen oder andere Fach- und Vertrauensleute sozialer Institutionen) ausser Betracht fallen (<ref-ruling> E. 4b S. 35; SVR 2015 IV Nr. 18 S. 53, 8C_557/2014 E. 4.2 mit Hinweisen; Urteil 9C_52/2015 vom 3. Juli 2015 E. 4.1).
2.2. Die Frage nach der sachlichen Gebotenheit der anwaltlichen Verbeiständung im Verwaltungsverfahren ist eine vom Bundesgericht frei überprüfbare Rechtsfrage (Urteil 8C_572/2014 vom 28. Januar 2015 E. 4.1 mit Hinweis).
3.
3.1. Die Vorinstanz ist der Auffassung, dass der damals (vgl. E. 1.5) für den Beschwerdeführer zuständige Sozialdienst, der ihn seit zehn Jahren unterstützt habe, seine Vertretung im Vorbescheidverfahren hätte wahrnehmen können. Sie hat dabei Bezug auf Art. 19 Abs. 1 lit. d des Gesetzes vom 11. Juni 2001 über die öffentliche Sozialhilfe des Kantons Bern (Sozialhilfegesetz, SHG; BSG 850.1) genommen und festgehalten, dass gestützt auf diese kantonale Gesetzesbestimmung auch die Beratung und Betreuung zu den Pflichten der öffentlichen Sozialhilfe gehöre.
Entgegen der Auffassung des Beschwerdeführers handelt es sich hierbei nicht um eine unverbindliche Sachverhaltsfeststellung der Vorinstanz, sondern um die Auslegung einer kantonalen Gesetzesbestimmung durch die Vorinstanz, die in concreto massgebend ist für die Beurteilung, ob eine anwaltliche Vertretung im Verwaltungsverfahren sachlich geboten war.
3.2. Mit dem kantonalen Recht hat sich das Bundesgericht unter Vorbehalt der in Art. 95 lit. c bis e BGG genannten und hier nicht interessierenden Ausnahmen grundsätzlich nicht zu befassen. Eine Bundesrechtsverletzung im Sinne von <ref-law> liegt nur vor, wenn die Anwendung kantonalen Rechts, sei es wegen seiner Ausgestaltung oder aufgrund des Ergebnisses im konkreten Fall, zu einer Verfassungsverletzung führt (Urteil 8C_393/2008 vom 24. September 2008 E. 4.3). Das Bundesgericht prüft die Rüge der Verletzung von Grundrechten und von kantonalem Recht nur insofern, als sie in der Beschwerde präzise vorgebracht und begründet wird (<ref-law>; <ref-ruling> E. 10 S. 318; <ref-ruling> E. 1.4.2 S. 254, Urteil 9C_849/2010 vom 10. November 2010).
3.3.
3.3.1. Die Beschwerdeschrift enthält keine den Anforderungen entsprechende Rügen. Indessen wird die vorinstanzliche Auslegung von Art. 19 Abs. 1 lit. d SHG durch Art. 2 Abs. 1 sowie Abs. 2 lit. b und c der Verordnung vom 24. Oktober 2001 über die öffentliche Sozialhilfe des Kantons Bern (Sozialhilfeverordnung, SHV; BSG 866.111) gestützt. Danach haben die Gemeinden die Organisation des Sozialdienstes zu regeln, und die gewählte Organisationsform muss sicherstellen, dass die gesetzlich vorgeschriebenen Leistungen nach den Grundsätzen professioneller Sozialarbeit erbracht werden können und fachlich kompetentes Personal verfügbar ist.
3.3.2. Tatsächlich bevollmächtigte der Beschwerdeführer in der Abtretungserklärung vom 28. März 2013 den damals zuständigen Sozialdienst, gegenüber der verfügenden Behörde Einsprache zu führen und nötigenfalls beim zuständigen Gericht Beschwerde zu erheben. Er behielt denn auch weit über den massgebenden Zeitpunkt bei Erlass der Verfügung vom 3. Juni 2014 (<ref-ruling> E. 3.1.1 S. 220; <ref-ruling> E. 1b S. 366; SVR 2012 ALV Nr. 5 S. 14, 8C_777/2010 E. 7; Urteil 8C_450/2014 vom 24.7.2014 E. 5) hinaus seinen Wohnsitz bei (E. 1.5). Die Erklärung des damals zuständigen Sozialdienstes vom 10. April 2014 wonach er in personeller, fachlicher und zeitlicher Hinsicht über keine Ressourcen verfüge, um den Beschwerdeführer in Bezug auf den Vorbescheid der IV-Stelle Bern vom 12. März 2014 rechtlich zu unterstützen bzw. zu vertreten, lässt sich mit Art. 19 SHG kaum in Einklang bringen. Zudem steht sie in inhaltlichem Widerspruch zur - vom Sozialdienst selber verfassten - Abtretungserklärung vom 28. März 2013. Sodann erfolgte die Erklärung vom 10. April 2014 erst, nachdem der Beschwerdeführer bereits am 30. März 2014 seinen Rechtsvertreter bestellt hatte.
3.3.3. Es ist nicht ersichtlich und wird auch nicht geltend gemacht, dass der Versicherte vor dem Beizug des Rechtsanwaltes zuerst vergeblich versucht haben soll, eine Vertretung seiner Interessen durch den für ihn zuständigen Sozialdienst zu erwirken. Damit unterscheidet sich der vorliegende Sachverhalt von jenem, der dem Entscheid I 115/07 zugrunde lag. Dort zog die Versicherte erst, nachdem sie erfolglos eine soziale Institution kontaktiert hatte, einen Anwalt bei (Urteil I 115/07 vom 19. April 2007 E. 6.1). Davon kann vorliegend keine Rede sein. Vielmehr wäre es dem Beschwerdeführer ohne weiteres möglich und zumutbar gewesen, sich durch den zuständigen Sozialdienst, der auch über entsprechend geschultes Personal gemäss den Bestimmungen des SHG und der SHV verfügen muss, vertreten zu lassen. Weil dies seit dem 28. März 2013 zutraf, war die IV-Stelle auch nicht verpflichtet, den Versicherten auf die grundsätzliche Subsidiarität der anwaltlichen Vertretung gegenüber der Interessenwahrung durch andere fachkundige Dritte aufmerksam zu machen und solche zu benennen (vgl. <ref-law>; Urteile 9C_52/2015 vom 3. Juli 2015 E. 4.2.1; 9C_878/2012 vom 26. November 2012 E. 3.6.2). Die Verbeiständung durch einen Rechtsanwalt war somit nicht sachlich geboten.
3.4.
3.4.1. Daran ändern die weiteren Vorbringen des Beschwerdeführers nichts. Das Argument, dass die IV-Stelle erst durch den Einwand des Rechtsvertreters veranlasst worden sein soll, im Rahmen eines zweiten Vorbescheides ein wesentlich höheres Valideneinkommen anzunehmen, betrifft das Kriterium der Nichtaussichtslosigkeit, nicht jenes der Erforderlichkeit. Es ist eine blosse Behauptung, dass nur ein Rechtsanwalt und nicht auch der vom Beschwerdeführer ursprünglich beauftragte Sozialdienst (E. 3.3.2) in der Lage gewesen sein soll, <ref-law> zu konsultieren und anzurufen. Es ist nicht nachvollziehbar, inwiefern es sich dabei um eine "exotische und komplexe" Rechtsfrage handeln soll. In Anbetracht, dass eine Vertretung des Beschwerdeführers im Rahmen der Sozialhilfe ohne weiteres möglich war, ist auch nicht darüber zu befinden, ob er persönlich in der Lage gewesen wäre, sich wirksam im Verwaltungsverfahren zu äussern.
Auch die Frage, ob die laut Beschwerdeführer durch seinen Rechtsvertreter veranlasste fachärztliche Abklärung zu einer zusätzlichen Anerkennung einer Leistungseinschränkung geführt habe, beschlägt nur den - hier nicht entscheidenden - Aspekt der Prozessaussichten.
3.4.2. Nachdem der Versicherte den Sozialdienst bevollmächtigt hatte, war die IV-Stelle resp. die Vorinstanz auch nicht verpflichtet, abzuklären, ob er selber über die notwendigen juristischen und medizinischen Kenntnisse verfügt. Es liegt somit weder eine Verletzung von Art. 43 noch von <ref-law> vor. Es ist auch nicht erkennbar, wo diesbezüglich eine Rechtsverweigerung oder Beweisvereitelung gegeben sein könnte. Ebenso wenig ist ein Verstoss gegen Art. 6 EMRK ersichtlich: Die Ausgestaltung der Beteiligungsrechte der versicherten Person im Abklärungsverfahren der IV-Stelle muss den verfahrensbezogenen Garantien gemäss <ref-law> und Art. 6 Ziffer 1 ERMK genügen. Dabei ist die Frage, ob die Schutzziele von Verfassung und Konvention bei der Abklärung des anspruchserheblichen Sachverhalts durch die Mitwirkungsmöglichkeiten hinreichend verwirklicht werden, anhand des konkreten Verfahrens und seiner Zwecke zu beantworten (<ref-ruling> E. 3.4.2.2 S. 252). <ref-law> darf ohne weiteres so ausgelegt werden, dass es einem Versicherten zugemutet werden darf, sich durch einen Sozialdienst mit entsprechend geschultem Personal vertreten zu lassen.
Ausserdem besteht gerade auch bei einem auf wirtschaftliche Sozialhilfe angewiesenen Versicherten - was auf den Beschwerdeführer zutrifft - ein direktes Interesse der unterstützungspflichtigen Gemeinde, dass er die ihm zustehenden Sozialversicherungsleistungen erhält, wird sie doch dadurch bei der Zusprache von Sozialhilfeleistungen selber entlastet. In der Abtretungserklärung vom 28. März 2013 wurde denn auch auf <ref-law> verwiesen. Eine Kollision von Interessen der Gemeinde mit jenen des Beschwerdeführers ist somit nicht auszumachen.
3.4.3. Es ist nicht erkennbar, dass die Vorinstanz eine Verbeiständung im Vorbescheidverfahren durch einen Rechtsanwalt generell für nicht geboten hält. Vielmehr hat sie diese im konkreten Anwendungsfall mangels Erforderlichkeit verweigert. Ebenso ist nicht nachvollziehbar, welche Bedeutung im vorliegenden Verfahren <ref-ruling>, der ohnehin durch das zur Publikation bestimmte Urteil 9C_492/2014 vom 3. Juni 2014 eine Änderung erfuhr, haben soll. Beim Beschwerdeführer steht nicht das Beschwerdebild einer anhaltenden somatoformen Schmerzstörung oder ein vergleichbares psychosomatisches Leiden (vgl. Urteil 9C_492/2014 vom 3. Juni 2014 E. 4.2) zur Diskussion.
3.4.4. Entgegen der Auffassung des Beschwerdeführers handelt es sich beim Administrativverfahren der Invalidenversicherung nicht um ein kontradiktorisches Verfahren wie vor einem Gericht. Vielmehr ist es als Einparteienverfahren ausgestaltet, wobei die IV-Stelle bis zum Verfügungserlass ein hoheitlich handelndes, an das Gesetz gebundenes und zum objektiven, neutralen Vollzug verpflichtetes Durchführungsorgan der Versicherung ist (Meyer/Reichmuth, Rechtsprechung des Bundesgerichts zum IVG, 3. Aufl. 2014, N. 3 zu Art. 53-57 IVG).
3.4.5. Das kantonale Versicherungsgericht hat volle Kognition (<ref-law>). Sie wird durch den Umstand, dass für die Beurteilung der Zeitpunkt des Verfügungserlasses massgebend ist (E. 3.3.2), nicht beschränkt. Vielmehr hat ein Versicherter im Beschwerdeverfahren die Möglichkeit zur umfassenden Rüge der von der Verwaltung erlassenen Verfügung. Dessen Rechte sind durch <ref-ruling> noch verstärkt worden. Es ist indessen nicht erkennbar, dass wegen diesem Urteil das Kriterium der Notwendigkeit einer anwaltlichen Verbeiständung im Verwaltungsverfahren (vgl. dazu Meyer/Reichmuth, a.a.O., N. 10 zu <ref-law>) gelockert werden sollte, gerade wenn - wie hier - dem Versicherten die Möglichkeit der Vertretung durch einen Sozialdienst offensteht. Die Beschwerde ist unbegründet.
4.
Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer grundsätzlich die Gerichtskosten zu tragen (<ref-law>). Seinem Gesuch um unentgeltliche Rechtspflege kann jedoch entsprochen werden (<ref-law>). Er hat der Gerichtskasse Ersatz zu leisten, wenn er später dazu in der Lage ist (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt und Rechtsanwalt Rémy Wyssmann wird als unentgeltlicher Anwalt bestellt.
3.
Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Gerichtskasse genommen.
4.
Dem Rechtsvertreter des Beschwerdeführers wird aus der Gerichtskasse eine Entschädigung von Fr. 2'800.- ausgerichtet.
5.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 9. September 2015
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Glanzmann
Die Gerichtsschreiberin: Dormann