Sachverhalt:
A.
Mit Vorbescheid vom 2. November 2012 stellte die IV-Stelle des Kantons Aargau dem 1954 geborenen A._ die Ablehnung seines mit Anmeldung vom 2. April 2008 eingereichten Rentengesuchs in Aussicht. Die Lungenliga, welche zuvor mit Vollmacht des Versicherten um Einsicht in die IV-Akten ersucht hatte, erhob dagegen Einwände. Mit Verfügung vom 31. Januar 2013 bestätigte die IV-Stelle die Ablehnung des Rentenanspruchs. Das Original der Verfügung stellte sie am 2. Februar 2013 dem Versicherten persönlich zu. Eine Kopie der Verfügung sandte sie u.a. der Lungenliga.
B.
Hiegegen liess A._, nunmehr durch einen Rechtsanwalt vertreten, Beschwerde erheben. Mit Entscheid vom 16. Oktober 2013 trat das Versicherungsgericht des Kantons Aargau auf die Beschwerde wegen Verspätung nicht ein.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, in Aufhebung des vorinstanzlichen Entscheides sei die Sache an das kantonale Gericht zwecks materieller Beurteilung zurückzuweisen. Ferner sei ihm die unentgeltliche Prozessführung und Verbeiständung zu gewähren.
Das kantonale Gericht verzichtet auf eine Vernehmlassung. Die IV-Stelle des Kantons Aargau schliesst auf Abweisung der Beschwerde. Die beigeladene Columna Sammelstiftung Client Invest und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.

Erwägungen:
1.
1.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (<ref-ruling> E. 1.2 S. 252 mit Hinweisen; <ref-ruling> E. 2.2 S. 550; <ref-ruling> E. 1.4 S. 140). Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.4.1 S. 254).
1.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). Offensichtlich unrichtig im Sinne von <ref-law> ist die Sachverhaltsfeststellung, wenn sie willkürlich ist (<ref-ruling> E. 1.4.1 S. 39). Die entsprechende Rüge prüft das Bundesgericht nur insoweit, als sie in der Beschwerde explizit vorgebracht und substanziiert begründet worden ist.
2.
Streitgegenstand ist lediglich die Frage, ob die vorinstanzliche Beschwerde beim kantonalen Versicherungsgericht rechtzeitig erfolgt ist. Dies hängt davon ab, ob für den Beginn des Fristenlaufs die Zustellung der Verfügung vom 31. Januar 2013 an den Versicherten oder an die Lungenliga des Kantons Aargau massgebend ist.
2.1. Das kantonale Gericht stellte in tatsächlicher Hinsicht fest, dass die Verfügung vom 31. Januar 2013 dem Beschwerdeführer am 2. Februar 2013 als eingeschriebene Postsendung zugestellt worden ist. Die 30tägige Beschwerdefrist habe damit am 3. Februar 2013 zu laufen begonnen. Der letzte Tag der Frist sei auf Montag, 4. März 2013 gefallen. Die vom 8. März 2013 datierende Beschwerde sei am 8. März 2013 der Schweizerischen Post übergeben worden.
Mit Bezug auf ein allfälliges Vertretungsverhältnis mit der Lungenliga hielt das kantonale Gericht fest, erst mit Schreiben vom 30. April 2012 habe die Lungenliga die IV-Stelle kontaktiert und dieser eine Vollmacht eingereicht, in welcher der Beschwerdeführer die IV-Stelle ermächtigte, B._ von der Lungenliga die IV-Akten zuzustellen und ihr gewünschte Auskünfte zu erteilen. Die Vertreterin der Lungenliga habe mit Schreiben vom selben Tag um Zustellung der Akten ab Ende Juni 2011 ersucht und zur angeordneten Massnahme betreffend Absetzung von Psychopharmaka Stellung genommen. Weder seien weitergehende Akten angefordert worden noch habe sich die Vertreterin der Lungenliga als Vertreterin des Beschwerdeführers in diesem Verfahren konstituiert. Das Schreiben vom 30. April 2012 sei auch vom Beschwerdeführer unterzeichnet worden.
Am 2. November 2012 - so die Vorinstanz weiter - habe die IV-Stelle einen Vorbescheid erlassen. Diesen habe sie dem Beschwerdeführer per "Einschreiben" zugestellt und u.a. eine Orientierungskopie der Lungenliga zukommen lassen. Mit Schreiben vom 28. November 2012 habe die Lungenliga zum Vorbescheid vom 2. November 2012 Stellung genommen. In dieser Stellungnahme sei weder die Zustellung des Vorbescheids an den Beschwerdeführer gerügt, noch die IV-Stelle aufgefordert worden, eine allfällige Verfügung der Lungenliga oder einem allfälligen weiteren Vertreter zuzustellen. Allerdings habe die Lungenliga darum ersucht, die "Eingabefrist" bis Mitte Januar 2013 zu erstrecken, welchem Begehren die IV-Stelle "einmalig und letztmalig" entsprochen habe. Eine Kopie dieses Schreibens sei von der IV-Stelle an den Beschwerdeführer gegangen. Die Lungenliga habe mit Schreiben vom 16. Januar 2013 um eine nochmalige Verlängerung der Frist ersucht, was die IV-Stelle jedoch abgelehnt habe. Am 31. Januar 2013 habe die Beschwerdegegnerin die angefochtene Verfügung erlassen und diese dem Beschwerdeführer zugestellt. Eine Orientierungskopie sei u.a. an die Lungenliga gegangen.
2.2. In rechtlicher Hinsicht erwog das kantonale Gericht unter Hinweis auf <ref-law> und <ref-ruling> E. 3 S. 181, dass grundsätzlich auch eine mündliche oder durch konkludentes Handeln erteilte Vertretungsvollmacht gültig sei. Die vom 24. April 2012 datierende Vollmacht habe die IV-Stelle einzig ermächtigt, der Lungenliga IV-Akten zuzustellen und mündliche oder schriftliche Auskünfte zu erteilen. Dies stelle jedoch keine Vertretungsvollmacht dar, welche die IV-Stelle verpflichtet hätte, alle rechtsverbindlichen Handlungen ausschliesslich gegenüber dem Bevollmächtigten vorzunehmen (Hinweis auf UELI KIESER, ATSG-Kommentar, 2. Aufl. 2009, N. 13 f. zu <ref-law>). Denn mit keinem Wort sei die Lungenliga oder eine andere Person ermächtigt worden, im Namen des Beschwerdeführers Erklärungen abzugeben, Zustellungen entgegenzunehmen oder andere rechtsverbindliche Handlungen vorzunehmen. Auch aus der darauf folgenden Korrespondenz zwischen der IV-Stelle und der Lungenliga gehe eine solche Legitimation zur Entgegennahme oder Abgabe von Erklärungen nicht hervor. Allein aus dem Umstand, dass die Lungenliga Einwände gegen den Vorbescheid der IV-Stelle erhoben und darüber hinaus zur Erhebung weiterer Einwände um eine Fristerstreckung ersucht habe und der Beschwerdeführer gegen diese Handlungen nicht opponiert habe, lasse sich keine den Beschwerdeführer bindende Duldungs- oder Anscheinsvollmacht ableiten. Hinzu komme, dass das Vorbescheidverfahren ein weitgehend formloses Verfahren sei, welches die Aufgabe der umfassenden Sachverhaltsfeststellung durch die Beschwerdegegnerin vereinfachen solle. Die Unterlassung der Geltendmachung von Einwendungen würde - zumindest in rechtlicher Hinsicht - keinerlei Nachteile für einen Versicherten nach sich ziehen. Entsprechend könne aus der Duldung einer solchen Eingabe durch einen vollmachtlosen Dritten nicht abgeleitet werden, dass ein Versicherter diesen ermächtigen würde, rechtlich verpflichtende Erklärungen abzugeben oder entgegenzunehmen. Die Zustellung einer Verfügung an die Lungenliga hätte sich der Beschwerdeführer damit nicht zurechnen lassen müssen. Eine Zustellung an diese hätte keine fristauslösende Wirkung gehabt.
Darüber hinaus sei festzuhalten, dass mit der Zustellung einer Orientierungskopie an die Lungenliga keinesfalls der Eindruck erweckt worden sei, damit handle es sich um die fristauslösende Zustellung einer Verfügung. Die der Lungenliga per Normalpost gesandte Orientierungskopie sei klar und deutlich mit "KOPIE" überschrieben gewesen und habe den Vermerk Original an den Beschwerdeführer gehabt. Damit habe den Empfängern dieses als Kopie gekennzeichneten Schreibens klar sein müssen, dass neben dieser Orientierungskopie an den Beschwerdeführer ein Original zugestellt worden sei. Es sei unerlässlich gewesen, den Zustellungszeitpunkt des Letzteren zur Berechnung der Anfechtungsfrist zu berücksichtigen.
2.3. Der Beschwerdeführer bringt vor, die Vorinstanz verkenne, dass die Lungenliga bereits seit dem 11. Januar 2010 als Vertreterin des Versicherten legitimiert sei und laufend auch im Rahmen der Gewährung des rechtlichen Gehörs volles Akteneinsichtsrecht gehabt habe und auch Eingaben namens und im Auftrag des Versicherten vollzogen habe. Das bestehende Vertretungsverhältnis sei gegenüber der IV-Stelle laufend notifiziert worden, mehrmals zwischen dem 28. Juni 2011 und letztmals mit Schreiben vom 18. Januar 2013. Die Verwaltung habe die Vertretung durch die Lungenliga voll anerkannt und dass nun die Zustellung an den Versicherten selbst relevant sein soll, entspreche (recte: widerspreche) dem Verbot des widersprüchlichen Verhaltens und dem Fairnessgebot. Das kantonale Gericht schaffe durch diesen Entscheid eine stossende Ungerechtigkeit zulasten des Versicherten.
3.
3.1. Gemäss <ref-law> (SR 830.1) ist die Beschwerde innerhalb von 30 Tagen nach der Eröffnung des Einspracheentscheides oder der Verfügung, gegen welche eine Einsprache ausgeschlossen ist, einzureichen. Diese Frist kann nicht erstreckt werden (<ref-law>). Nach Art. 39 Abs. 1 in Verbindung mit <ref-law> ist die 30tägige Frist nur gewahrt, wenn die Beschwerde spätestens am letzten Tag der Frist beim erstinstanzlichen Versicherungsgericht eingereicht oder zu dessen Handen u.a. der Schweizerischen Post übergeben wird. Läuft die Frist unbenützt ab, so erwächst der Verwaltungsentscheid in (formelle) Rechtskraft mit der Wirkung, dass das erstinstanzliche Gericht auf eine verspätet eingereichte Beschwerde nicht eintreten darf (vgl. <ref-ruling> E. 2 S. 51).
3.2. Eine Partei kann sich, wenn sie nicht persönlich zu handeln hat, jederzeit vertreten oder, soweit die Dringlichkeit einer Untersuchung es nicht ausschliesst, verbeiständen lassen (<ref-law>). Gemäss <ref-law> kann der Versicherungsträger die Vertretung auffordern, sich durch schriftliche Vollmacht auszuweisen. Mit dieser Bestimmung wird klargestellt, dass der Versicherungsträger das Vertretungsverhältnis auch ohne schriftliche Vollmacht als gegeben betrachten kann. Ein Vertretungsverhältnis kann demnach namentlich gestützt auf eine mündlich oder durch konkludentes Handeln erteilte Vollmacht begründet werden (<ref-ruling>; Urteil I 107/06 vom 1. Februar 2007). Im Sozialversicherungsrecht des Bundes gilt der in <ref-law> ausdrücklich verankerte Grundsatz, dass der Versicherungsträger seine Mitteilungen an den Vertreter einer Partei zu richten hat, solange diese ihre Vollmacht nicht widerrufen hat. Dieser Grundsatz dient im Interesse der Rechtssicherheit dazu, allfällige Zweifel darüber zum Vornherein zu beseitigen, ob die Mitteilungen an die Partei selber oder an ihre Vertretung zu erfolgen haben, sowie um klarzustellen, welches die für einen Fristenlauf massgebenden Mitteilungen sein sollen (<ref-ruling> E. 3 S. 182; SVR 2009 UV Nr. 16 S. 63, 8C_210/2008 E. 3.2 mit Hinweisen).
Aus der mangelhaften Eröffnung einer Verfügung darf der betroffenen Person gemäss Art. 49 Abs. 3 letzter Satz ATSG kein Nachteil erwachsen, was ebenfalls einen bereits vor Inkrafttreten des Allgemeinen Teils im gesamten Bundessozialversicherungsrecht geltenden Grundsatz darstellt. Nach der Rechtsprechung ist nicht jede mangelhafte Eröffnung schlechthin nichtig mit der Konsequenz, dass die Rechtsmittelfrist nicht zu laufen beginnen könnte. Aus dem Grundsatz, dass den Parteien aus mangelhafter Eröffnung keine Nachteile erwachsen dürfen, folgt vielmehr, dass dem beabsichtigten Rechtsschutz schon dann Genüge getan wird, wenn eine objektiv mangelhafte Eröffnung trotz ihres Mangels ihren Zweck erreicht. Das bedeutet nichts anderes, als dass nach den konkreten Umständen des Einzelfalls zu prüfen ist, ob die betroffene Partei durch den gerügten Eröffnungsmangel tatsächlich irregeführt und dadurch benachteiligt worden ist. Richtschnur für die Beurteilung dieser Frage ist der auch in diesem prozessualen Bereich geltende Grundsatz von Treu und Glauben, an welchem die Berufung auf Formmängel in jedem Fall ihre Grenze findet (<ref-ruling> E. 6 S. 253 f.; <ref-ruling> E. 3a/aa S. 99; <ref-ruling> E. 4c S. 150; ARV 2002 S. 66, C 196/00; Urteil des Eidgenössischen Versicherungsgerichts I 868/02 vom 21. März 2003 E. 2; Yves Donzallaz, La notification en droit interne suisse, 2002, S. 565 f. Rz. 1200).
3.3. Aus den Akten geht hervor, dass die Lungenliga entgegen der Darstellung der Vorinstanz mindestens seit 12. Januar 2010 für den Versicherten bei der Beschwerdegegnerin vorstellig geworden ist. Zwar trifft es zu, dass auf der Vollmacht lediglich festgehalten ist, "zur Einholung von schriftlichen und mündlichen Auskünften und zur Einsichtnahme in sämtliche Akten bei der SVA Aargau". In der nachfolgenden Zeit ist immer die Lungenliga im schriftlichen Verkehr mit der IV-Stelle für den Versicherten aufgetreten. Namentlich hat sie auch die Einwände gegen den Vorbescheid gemacht. Unter diesen Umständen verletzt das kantonale Gericht Bundesrecht (E. 3.2 hievor), wenn es der Lungenliga die Stellung als Rechtsvertreterin des Versicherten abgesprochen hat. Die IV-Stelle ist jeweils auch auf die Fristerstreckungsgesuche, namentlich im Einwandverfahren, der Lungenliga eingetreten. Insoweit hat die IV-Stelle auch eine Vertrauensgrundlage gesetzt, an die sie sich zu halten gehabt hätte. Die IV-Stelle hätte daher ihre rentenablehnende Verfügung - gerade auch um Unklarheiten über den Beginn des Fristenlaufs zu vermeiden (vgl. E. 3.2 hievor) - der Lungenliga als Vertreterin des Versicherten zustellen müssen. Da aus der mangelhaften Eröffnung einer Verfügung der betroffenen Person gemäss Art. 49 Abs. 3 letzter Satz ATSG kein Nachteil erwachsen darf, ist die Zustellung der Verfügung in Kopie an die Lungenliga am 6. Februar 2013 (Datum des Eingangsstempels) als für den Lauf der 30tägigen Beschwerdefrist auslösendes Ereignis zu betrachten. Die vorinstanzliche Beschwerde ist damit rechtzeitig eingereicht worden. Die Sache geht daher an das kantonale Gericht zurück, damit es die Beschwerde materiell prüfe.
4.
Bei diesem Ausgang des Verfahrens hat die IV-Stelle des Kantons Aargau als Beschwerdegegnerin die Gerichtskosten zu tragen (<ref-law>) und dem Beschwerdeführer eine Parteientschädigung zu entrichten (<ref-law>). Das Gesuch um unentgeltliche Prozessführung und Verbeiständung ist daher gegenstandlos.

Demnach erkennt das Bundesgericht:
1.
In Gutheissung der Beschwerde wird der vorinstanzliche Entscheid vom 16. Oktober 2013 aufgehoben und die Sache an das Versicherungsgericht des Kantons Aargau zurückgewiesen, damit es materiell auf die Beschwerde vom 8. März 2013 eintrete.
2.
Die Gerichtskosten von Fr. 800.- werden der IV-Stelle des Kantons Aargau auferlegt.
3.
Die Beschwerdegegnerin hat dem Beschwerdeführer für das bundesgerichtliche Verfahren eine Parteientschädigung von Fr. 2'000.- auszurichten.
4.
Dieses Urteil wird den Parteien, der Columna Sammelstiftung Client Invest, Winterthur, dem Versicherungsgericht des Kantons Aargau und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 9. Mai 2014
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kernen
Der Gerichtsschreiber: Nussbaumer