Sachverhalt:
A.
Der 1955 geborene, zuletzt als Kellner tätig gewesene A._ meldete sich im September 2009 unter Hinweis auf verschiedene gesundheitliche Beschwerden bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Aargau holte nebst weiteren Abklärungen eine polydisziplinäre Expertise (Fachbereiche Innere Medizin, Neurologie, Psychiatrie und Rheumatologie) des Begutachtungszentrums B._, vom 23. Dezember 2011 ein. Mit Verfügung vom 29. Januar 2013 verneinte sie einen Rentenanspruch mangels eines genügenden Invaliditätsgrades.
B.
A._ erhob hiegegen Beschwerde. Das Versicherungsgericht des Kantons Aargau gewährte ihm die unentgeltliche Rechtspflege und wies die Beschwerde mit Entscheid vom 11. Dezember 2013 ab.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt A._ beantragen, in Aufhebung der Verfügung vom 29. Januar 2013 sei ihm eine ganze Invalidenrente zuzusprechen; eventuell sei die Sache zwecks Evaluierung seiner konkreten funktionellen Leistungsfähigkeit an die Verwaltung zurückzuweisen resp. sei ein Obergutachten bzw. ein Zweitgutachten anzuordnen. Weiter wird um unentgeltliche Rechtspflege für das letztinstanzliche Verfahren ersucht.
Die vorinstanzlichen Akten wurden eingeholt. Ein Schriftenwechsel wird nicht durchgeführt.

Erwägungen:
1.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>), doch prüft es, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (Art. 42 Abs. 1 und 2 BGG), nur die geltend gemachten Vorbringen, falls allfällige weitere rechtliche Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.6 S. 280 mit Hinweisen).
Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann deren Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). Offensichtlich unrichtig bedeutet dabei willkürlich (<ref-ruling> E. 7.3.1 S. 39; <ref-ruling> E. 4.1.2 S. 62).
2.
Streitig und zu prüfen ist der Anspruch auf eine Invalidenrente der Invalidenversicherung.
Im angefochtenen Entscheid sind die namentlich interessierenden Bestimmungen und Grundsätze zu den Begriffen Invalidität, Arbeitsunfähigkeit und Erwerbsunfähigkeit, zum nach dem Grad der Invalidität abgestuften Anspruch auf eine Invalidenrente (mit dem hiefür erforderlichen Invaliditätsgrad von mindestens 40 %), zur Bestimmung des Invaliditätsgrades mittels Einkommensvergleich, zur Aufgabe von Arzt oder Ärztin bei der Invaliditätsbemessung sowie zu den Anforderungen an beweiswertige ärztliche Berichte und Gutachten zutreffend dargelegt. Darauf wird verwiesen.
3.
Das kantonale Gericht ist gestützt auf die B._-Expertise vom 23. Dezember 2011 zum Ergebnis gelangt, in einer leichten bis intermittierend mittelschweren körperlichen adaptierten Tätigkeit bestehe aus gesundheitlichen Gründen eine 30%ige Einschränkung der Arbeitsfähigkeit bezogen auf ein 100%iges Arbeitspensum. Es hat davon ausgehend einen Einkommensvergleich vorgenommen und ist mittels Tabellenlöhnen gemäss der Schweizerischen Lohnstrukturerhebung (LSE) zur Bestimmung der Vergleichseinkommen sowie unter Berücksichtigung eines leidensbedingten Abzuges von (maximal als gerechtfertigt betrachteten) 10 % beim trotz gesundheitsbedingter Beeinträchtigung zumutbarerweise noch erzielbaren Einkommen (Invalideneinkommen) zu einem Invaliditätsgrad von (gerundet) 32 % gelangt.
3.1. Die Einwände des Versicherten richten sich zunächst gegen die Beurteilung von Gesundheitszustand und Arbeitsfähigkeit. Dabei wird namentlich der Beweiswert des B._-Gutachtens bestritten. Das kantonale Gericht hat indessen in Beachtung der nach der Rechtsprechung massgeblichen Grundsätze (vgl. namentlich <ref-ruling> E. 3a S. 352) überzeugend dargelegt, weshalb es die B._ -Expertise als verlässliche Entscheidungsgrundlage erachtet und daraus die genannten Schlüsse zieht. Die Vorbringen des Versicherten sind nicht geeignet, die vorinstanzlichen Sachverhaltsfeststellungen als offensichtlich unrichtig oder in anderer Weise bundesrechtswidrig erscheinen zu lassen. Das von ihm geltend gemachte multiple Beschwerdebild mit somatisch begründbaren Beeinträchtigungen wurde auch von den B._-Experten und von der Vorinstanz berücksichtigt. Sodann wurden entgegen der in der Beschwerde vertretenen Auffassung seitens des Regionalen Ärztlichen Dienstes (RAD) keine Diagnosen und keine Arbeitsunfähigkeit bestätigt. Die RAD-Ärzte haben vielmehr die medizinischen Vorakten zusammengefasst, die polydisziplinäre Begutachtung beim B._ eingeleitet und dessen in der Folge erstattete Expertise als schlüssig beurteilt. Der Beschwerdeführer beruft sich im weiteren auf Berichte der behandelnden Ärzte, insbesondere Psychiater. Das kantonale Gericht hat aber eingehend dargelegt, dass sich daraus keine Zweifel an der Einschätzung der B._-Experten ergeben. Diese Beweiswürdigung ist jedenfalls nicht willkürlich. Das gilt namentlich auch im Rahmen der Rechtsprechung, wonach Berichte der behandelnden Ärzte wegen deren auftragsrechtlichen Vertrauensstellung zum Patienten mit Vorbehalt zu würdigen sind. Das gilt für den allgemein praktizierenden Hausarzt wie für den behandelnden Spezialarzt und erst recht für den schmerztherapeutisch tätigen Arzt mit seinem besonderen Vertrauensverhältnis und dem Erfordernis, den geklagten Schmerz zunächst bedingungslos zu akzeptieren (vgl. <ref-ruling> E. 4.5 S. 470 f.; SVR 2008 IV Nr. 2 S. 3, I 697/05 E. 4.2; je mit Hinweis; aus jüngster Zeit: Urteil 8C_913/2013 vom 11. April 2014 E. 4.4.3). Nicht zu beanstanden ist auch die vorinstanzliche Beurteilung, wonach aufgrund des auf umfassenden polydisziplinären Untersuchungen beruhenden B._-Gutachtens von weiteren medizinischen Abklärungen, einschliesslich der beantragten Evaluation des funktionellen Leistungsvermögens, abgesehen werden kann.
3.2. Hinsichtlich der erwerblichen Auswirkungen der gesundheitlichen Beeinträchtigung wird in der Beschwerde geltend gemacht, die gegebene Restarbeitsfähigkeit sei mangels Stellen wirtschaftlich nicht verwertbar. Zudem sei der leidensbedingte Abzug vom Invalideneinkommen auf 20 % anzusetzen.
Die Einwände vermögen den vorinstanzlichen Entscheid nicht in Frage zu stellen. Der massgebliche ausgeglichene Arbeitsmarkt (<ref-law>) bietet zweifellos Stellen, welche dem medizinisch gegebenen Zumutbarkeitsprofil entsprechen und die erwerbliche Umsetzung der Restarbeitsfähigkeit gestatten. Sodann stellt die Bemessung des leidensbedingten Abzuges eine typische Ermessensfrage dar, deren Beantwortung letztinstanzlicher Korrektur nur dort zugänglich ist, wo das kantonale Gericht das Ermessen rechtsfehlerhaft ausgeübt hat, d.h. bei Ermessensüberschreitung, -missbrauch oder -unterschreitung (<ref-ruling> E. 5.1 S. 72 f.). Ein solcher Ermessensfehler ist hier zweifellos nicht gegeben, zumal die gesundheitsbedingte Einschränkung im Vergleich zu anderen Fällen nicht sehr schwerwiegend ist. Die Vorinstanz hat im Lichte der massgeblichen Grundsätze (vgl. <ref-ruling> und seitherige Entscheide) einlässlich und überzeugend dargelegt, weshalb sie einen Abzug von (höchstens) 10 % für genügend erachtet. Sie hat dabei auch den vom Versicherten geltend gemachten Abzugsfaktor Alter im Sinne der Rechtsprechung (vgl. aus jüngster Zeit: Urteil 8C_672/2013 vom 20. Februar 2014 E. 3.3 mit Hinweisen) in nicht zu beanstandender Weise berücksichtigt. Den in der Beschwerde genannten Präjudizien lässt sich, soweit sie sich überhaupt zur Abzugsfrage äussern, nichts anderes entnehmen. Auch die weiteren geltend gemachten Faktoren rechtfertigen nicht den Schluss auf einen qualifizierten Ermessensfehler der Vorinstanz.
3.3. Die übrigen Gesichtspunkte der Invaliditätsbemessung werden nicht bestritten und geben keinen Anlass zu Weiterungen. Es bleibt damit bei einem Invaliditätsgrad von 32 %, was einen Rentenanspruch ausschliesst.
4.
Die Gerichtskosten werden dem unterliegenden Beschwerdeführer auferlegt (<ref-law>). Dem Gesuch um unentgeltliche Rechtspflege (im Sinne der vorläufigen Befreiung von den Gerichtskosten und der unentgeltlichen Verbeiständung) kann entsprochen werden, da die Bedürftigkeit ausgewiesen ist, die Beschwerde nicht als aussichtslos zu bezeichnen und die Vertretung durch einen Rechtsanwalt geboten war (Art. 64 Abs. 1 und 2 BGG). Es wird indessen ausdrücklich auf <ref-law> aufmerksam gemacht, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten haben wird, wenn sie später dazu im Stande ist.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt und Rechtsanwalt Urs Hochstrasser wird als unentgeltlicher Anwalt bestellt.
3.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Gerichtskasse genommen.
4.
Dem Rechtsvertreter des Beschwerdeführers wird aus der Gerichtskasse eine Entschädigung von Fr. 2'800.- ausgerichtet.
5.
Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Aargau und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 7. Mai 2014
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Leuzinger
Der Gerichtsschreiber: Lanz