Sachverhalt: A. Der 1955 geborene A._ meldete sich im März 2015 zum wiederholten Mal zum Rentenbezug bei der Invalidenversicherung an. Die IV-Stelle des Kantons Aargau trat auf die Neuanmeldung ein und traf Sachverhaltsabklärungen. Am 9. September 2015 ersuchte A._ um Gewährung der unentgeltlichen Verbeiständung für das Verwaltungsverfahren. Mit Verfügung vom 16. November 2015 wies die IV-Stelle das Gesuch mit der Begründung ab, eine anwaltliche Verbeiständung sei nicht erforderlich. B. A._ erhob hiegegen Beschwerde. Zudem ersuchte er um Gewährung der unentgeltlichen Verbeiständung für das Beschwerdeverfahren. Mit Entscheid vom 2. Juni 2016 wies das Versicherungsgericht des Kantons Aargau die Beschwerde und, weil sie diese als aussichtslos beurteilte, das Gesuch um unentgeltliche Verbeiständung ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt A._ sinngemäss, in Aufhebung der Verfügung vom 16. November 2015 und des vorinstanzlichen Entscheides sei für das Verwaltungs- sowie das kantonale Verfahren die unentgeltliche Verbeiständung zu gewähren. Mit einer weiteren Eingabe ersucht er sodann um Gewährung der unentgeltlichen Rechtspflege für das bundesgerichtliche Verfahren. Die vorinstanzlichen Akten wurden eingeholt. Ein Schriftenwechsel wird nicht durchgeführt.