Sachverhalt:
A.
Der 1988 geborene A._ leidet an einer progressiven Gliedergürtel-Muskeldystrophie. Er besuchte die Sekundarschule und absolvierte anschliessend die dreijährige Handelsmittelschule, welche er mit dem Fähigkeitsausweis als kaufmännischer Angestellter abschloss. Er erwarb sodann nach einem Praktikum die Berufsmaturität und bestand anschliessend den Passerellenlehrgang. Im September 2011 nahm A._ an der Hochschule B._ ein Informatikstudium auf, welches nach kurzer Zeit wieder abgebrochen wurde. Im Februar 2012 begann er an der Universität C._ ein Studium zum Bachelor of Arts in Volkswirtschaftslehre. Die IV-Stelle des Kantons Graubünden erteilte für die invaliditätsbedingten Mehrkosten im Passerellenlehrgang sowie in den Studien in B._ und C._ jeweils Kostengutsprache im Rahmen einer erstmaligen beruflichen Ausbildung. Im März 2013 ersuchte A._ darum, ihm sei für das Studium in C._ ein IV-Taggeld auszurichten. Mit Verfügung vom 18. Juni 2013 bestätigte die IV-Stelle erneut die Gutsprache für die Übernahme der invaliditätsbedingten Mehrkosten. Hingegen verneinte sie einen Taggeldanspruch mit der Begründung, beim Studium in C._ handle es sich nicht um eine erstmalige berufliche Ausbildung, sondern um eine berufliche Weiterausbildung, verfüge der Versicherte doch bereits über eine abgeschlossene Berufsausbildung als kaufmännischer Angestellter. Die Frage, ob eine invaliditätsbedingte Erwerbseinbusse vorliege, könne deshalb offen bleiben.
B.
Die von A._ hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Graubünden unter Gewährung der unentgeltlichen Rechtspflege mit Entscheid vom 4. Februar 2014 ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, in Aufhebung des vorinstanzlichen Entscheids sei die IV-Stelle zu verpflichten, für die Dauer des Studiums Taggeld auszurichten; eventuell sei der vorinstanzliche Entscheid aufzuheben und die Sache zur Abklärung weiterer Leistungsvoraussetzungen zurückzuweisen. Zudem wird um Gewährung der unentgeltlichen Rechtspflege für das letztinstanzliche Verfahren ersucht.
Die vorinstanzlichen Akten wurden eingeholt. Ein Schriftenwechsel wird nicht durchgeführt.

Erwägungen:
1.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>), doch prüft es, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (Art. 42 Abs. 1 und 2 BGG), nur die geltend gemachten Vorbringen, falls allfällige weitere rechtliche Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.6 S. 280 mit Hinweisen).
Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann deren Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
2.
Streitig und zu prüfen ist, ob im Rahmen des Studiums an der Universität C._ auf Taggeld der Invalidenversicherung besteht.
Die Rechtsgrundlagen für die Beurteilung der Streitsache sind im angefochtenen Entscheid zutreffend dargelegt. Darauf wird verwiesen.
3.
Umstritten ist, ob es sich beim Studium an der Universität C._ um eine erstmalige berufliche Ausbildung im Sinne von <ref-law> oder um eine berufliche Weiterausbildung im Sinne von <ref-law> handelt. Bei der erstmaligen beruflichen Ausbildung kann - unter bestimmten Voraussetzungen - ein Anspruch auf Taggeld bestehen (<ref-law>), bei der beruflichen Weiterausbildung nicht (<ref-law>).
3.1. Das kantonale Gericht hat erkannt, der Versicherte verfüge mit der abgeschlossenen Lehre als kaufmännischer Angestellter und einer Berufsmaturität offenkundig über eine erstmalige berufliche Ausbildung, welche ihm den angemessenen Einstieg ins Erwerbsleben ermöglicht hätte. Das Studium zum Bachelor of Arts der Volkswirtschaftslehre stelle eine Etappe im Hinblick auf ein ausserhalb des kaufmännischen Bereichs liegendes akademisches Berufsziel dar und diene damit nicht dem Erwerb oder der Vermittlung spezifischer beruflicher Kenntnisse und Fertigkeiten im Rahmen der erstmaligen beruflichen Ausbildung. Vielmehr sei mit der Verwaltung von einem davon unabhängigen neuen Bildungsweg auszugehen, welcher im Hinblick auf den mit <ref-law> verfolgten Eingliederungszweck und angesichts der bereits vorhandenen Erwerbsmöglichkeiten nicht als invaliditätsbedingt notwendiger Bestandteil einer Erstausbildung betrachtet werden könne.
Die vorinstanzliche Beurteilung entspricht in allen Teilen der Rechtsprechung (so bei gleicher Ausgangslage ausdrücklich: Urteil 9C_181/2009 vom 3. November 2009 E. 5.2.1; vgl. auch Urteil 9C_231/2011 vom 14. September 2011; ULRICH MEYER, Rechtsprechung des Bundesgerichts zum IVG, 2. Aufl. 2010, S. 189 und 249). Es besteht kein Anlass, von dieser abzuweichen.
3.2. Der Beschwerdeführer macht das auch nicht geltend. Er bringt vielmehr vor, er habe von Beginn weg eine Aufnahme ins Gymnasium anvisiert, um danach ein Hochschulstudium absolvieren zu können. Werde das nicht berücksichtigt, stelle dies eine Verletzung des Rechtsgleichheitsgebots dar, da gerade schwer behinderte Menschen, die einen Hochschulabschluss auf dem zweiten Bildungsweg anstrebten, gegenüber jenen, die ihr Berufsziel über den Besuch eines Gymnasiums angingen, erheblich benachteiligt würden. Zudem sei den wenigsten Gymnasiasten bei Eintritt ins Gymnasium klar, welchen konkreten Berufsgang sie nach dessen Abschluss absolvieren würden .
Die Einwände vermögen die vorinstanzliche Beurteilung nicht in Frage zu stellen. Ob eine Ausbildungsplanung, wie sie der Versicherte für sich beschreibt, zu einer anderen Betrachtungsweise führen könnte, kann offen bleiben. Denn mit Blick auf den Werdegang mit Berufslehre, anschliessendem Praktikum mit Erwerb der Berufsmaturität, Passerelle und abgebrochenem Informatik-Studium kann jedenfalls nicht gesagt werden, das nunmehr betriebene Studium der Volkswirtschaft entspreche einem konsequent eingehaltenen Ausbildungsplan. Der Beschwerdeführer gibt zudem selber an, er habe damals die Aufnahmeprüfung ans Gymnasium nicht bestanden, weil er die deutsche Sprache zu wenig beherrscht habe, mithin aus einem invaliditätsfremden Grund. Die Beschwerde ist mithin abzuweisen.
4.
Die Gerichtskosten werden dem unterliegenden Beschwerdeführer auferlegt (<ref-law>). Dem Gesuch um unentgeltliche Rechtspflege (im Sinne der vorläufigen Befreiung von den Gerichtskosten und der unentgeltlichen Verbeiständung) kann entsprochen werden, da die Bedürftigkeit ausgewiesen ist, die Beschwerde nicht als aussichtslos zu bezeichnen und die Vertretung durch einen Rechtsanwalt geboten war (Art. 64 Abs. 1 und 2 BGG). Es wird indessen ausdrücklich auf <ref-law> aufmerksam gemacht, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten haben wird, wenn sie später dazu im Stande ist.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt und Fürsprecher D._, Rechtsdienst Integration Handicap, wird als unentgeltlicher Anwalt bestellt.
3.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Gerichtskasse genommen.
4.
Fürsprecher D._, Rechtsdienst Integration Handicap, wird aus der Gerichtskasse eine Entschädigung von Fr. 1000.- ausgerichtet.
5.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Graubünden und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 26. Juni 2014
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Leuzinger
Der Gerichtsschreiber: Lanz