Sachverhalt: Mit Verfügung vom 5. Juni 2013 lehnte die IV-Stelle Bern ein Gesuch von A._ um unentgeltliche Rechtspflege im Verwaltungsverfahren mangels sachlicher Notwendigkeit einer anwaltlichen Vertretung ab. Unter anderem auch die gegen diese Verfügung erhobene Beschwerde wies das Verwaltungsgericht des Kantons Bern ebenso wie das gleichzeitig gestellte Gesuch um unentgeltliche Rechtspflege mit Entscheid vom 12. März 2014 ab. Mit Beschwerde ans Bundesgericht lässt A._ beantragen, unter diesbezüglicher Aufhebung des kantonalen Entscheids sei ihm auch für das die Verfügung vom 5. Juni 2013 betreffende kantonale Beschwerdeverfahren die unentgeltliche Prozessführung und Verbeiständung zu bewilligen. Für das bundesgerichtliche Verfahren ersucht er ebenfalls um unentgeltliche Rechtspflege. Das kantonale Gericht sieht von einer Stellungnahme zur Sache ab, während das Bundesamt für Sozialversicherungen auf eine Vernehmlassung verzichtet.