Sachverhalt: A. Der 1955 geborene, zuletzt als Kellner tätig gewesene A._ meldete sich im September 2009 unter Hinweis auf verschiedene gesundheitliche Beschwerden bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Aargau holte nebst weiteren Abklärungen eine polydisziplinäre Expertise (Fachbereiche Innere Medizin, Neurologie, Psychiatrie und Rheumatologie) des Begutachtungszentrums B._, vom 23. Dezember 2011 ein. Mit Verfügung vom 29. Januar 2013 verneinte sie einen Rentenanspruch mangels eines genügenden Invaliditätsgrades. B. A._ erhob hiegegen Beschwerde. Das Versicherungsgericht des Kantons Aargau gewährte ihm die unentgeltliche Rechtspflege und wies die Beschwerde mit Entscheid vom 11. Dezember 2013 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt A._ beantragen, in Aufhebung der Verfügung vom 29. Januar 2013 sei ihm eine ganze Invalidenrente zuzusprechen; eventuell sei die Sache zwecks Evaluierung seiner konkreten funktionellen Leistungsfähigkeit an die Verwaltung zurückzuweisen resp. sei ein Obergutachten bzw. ein Zweitgutachten anzuordnen. Weiter wird um unentgeltliche Rechtspflege für das letztinstanzliche Verfahren ersucht. Die vorinstanzlichen Akten wurden eingeholt. Ein Schriftenwechsel wird nicht durchgeführt.