Sachverhalt: A. Der 1988 geborene A._ leidet an einer progressiven Gliedergürtel-Muskeldystrophie. Er besuchte die Sekundarschule und absolvierte anschliessend die dreijährige Handelsmittelschule, welche er mit dem Fähigkeitsausweis als kaufmännischer Angestellter abschloss. Er erwarb sodann nach einem Praktikum die Berufsmaturität und bestand anschliessend den Passerellenlehrgang. Im September 2011 nahm A._ an der Hochschule B._ ein Informatikstudium auf, welches nach kurzer Zeit wieder abgebrochen wurde. Im Februar 2012 begann er an der Universität C._ ein Studium zum Bachelor of Arts in Volkswirtschaftslehre. Die IV-Stelle des Kantons Graubünden erteilte für die invaliditätsbedingten Mehrkosten im Passerellenlehrgang sowie in den Studien in B._ und C._ jeweils Kostengutsprache im Rahmen einer erstmaligen beruflichen Ausbildung. Im März 2013 ersuchte A._ darum, ihm sei für das Studium in C._ ein IV-Taggeld auszurichten. Mit Verfügung vom 18. Juni 2013 bestätigte die IV-Stelle erneut die Gutsprache für die Übernahme der invaliditätsbedingten Mehrkosten. Hingegen verneinte sie einen Taggeldanspruch mit der Begründung, beim Studium in C._ handle es sich nicht um eine erstmalige berufliche Ausbildung, sondern um eine berufliche Weiterausbildung, verfüge der Versicherte doch bereits über eine abgeschlossene Berufsausbildung als kaufmännischer Angestellter. Die Frage, ob eine invaliditätsbedingte Erwerbseinbusse vorliege, könne deshalb offen bleiben. B. Die von A._ hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Graubünden unter Gewährung der unentgeltlichen Rechtspflege mit Entscheid vom 4. Februar 2014 ab. C. A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, in Aufhebung des vorinstanzlichen Entscheids sei die IV-Stelle zu verpflichten, für die Dauer des Studiums Taggeld auszurichten; eventuell sei der vorinstanzliche Entscheid aufzuheben und die Sache zur Abklärung weiterer Leistungsvoraussetzungen zurückzuweisen. Zudem wird um Gewährung der unentgeltlichen Rechtspflege für das letztinstanzliche Verfahren ersucht. Die vorinstanzlichen Akten wurden eingeholt. Ein Schriftenwechsel wird nicht durchgeführt.