Sachverhalt:
A.
Der 1961 geborene A._ beantragte im September 2000 erstmals Leistungen der Invalidenversicherung. Nach rechtskräftiger Abweisung dieses Gesuchs meldete er sich im Januar 2011 erneut zum Rentenbezug an. Die IV-Stelle des Kantons Zürich holte nebst weiteren Abklärungen ein polydisziplinäres medizinisches Gutachten des ärztlichen Abklärungsinstituts B._ vom 9. Januar 2012 ein. Mit Verfügung vom 13. April 2012 verneinte sie einen Rentenanspruch, da keine durchschnittliche Arbeitsunfähigkeit von 40 % während eines Jahres ausgewiesen sei.
B.
A._ erhob Beschwerde. Das Sozialversicherungsgericht des Kantons Zürich gewährte ihm die unentgeltliche Rechtspflege und wies die Beschwerde mit Entscheid vom 31. Dezember 2013 ab, soweit es darauf eintrat.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt A._ beantragen, der vorinstanzliche Entscheid sei aufzuheben und es seien die gesetzlichen Leistungen, insbesondere eine Rente, zuzusprechen. Weiter wird um Gewährung der unentgeltlichen Rechtspflege für das letztinstanzliche Verfahren ersucht.
Die vorinstanzlichen Akten wurden eingeholt. Ein Schriftenwechsel wird nicht durchgeführt.

Erwägungen:
1.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>), doch prüft es, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (Art. 42 Abs. 1 und 2 BGG), nur die geltend gemachten Vorbringen, falls allfällige weitere rechtliche Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.6 S. 280 mit Hinweisen).
Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann deren Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
2.
Die Vorinstanz ist auf die kantonale Beschwerde nicht eingetreten, soweit darin die Zusprechung von beruflichen Massnahmen und einer Hilflosenentschädigung beantragt wurde. Sie begründet dies damit, diese Leistungen hätten nicht Gegenstand der angefochtenen Verwaltungsverfügung gebildet. Letztinstanzlich beantragt der Beschwerdeführer "insbesondere eine Rente". Er macht aber nicht geltend, der vorinstanzliche Nichteintretensentscheid hinsichtlich der übrigen Leistungen sei rechtswidrig. Damit hat es diesbezüglich sein Bewenden und ist nur der Rentenanspruch zu prüfen.
3.
Im angefochtenen Entscheid sind die massgeblichen Bestimmungen und Grundsätze zum Anspruch auf eine Invalidenrente der Invalidenversicherung zutreffend dargelegt. Das betrifft namentlich auch die Rechtsprechung zu den anhaltenden somatoformen Schmerzstörungen und zur Beweiswürdigung, insbesondere bei ärztlichen Berichten und Gutachten. Darauf wird verwiesen.
4.
Verwaltung und kantonales Gericht haben eine Rentenberechtigung gestützt auf <ref-law> (in Kraft seit 1. Januar 2008; davor geregelt in <ref-law>) verneint.
4.1. Nach dieser Bestimmung setzt der Anspruch auf eine Invalidenrente u.a. voraus, dass die versicherte Person während eines Jahres ohne wesentlichen Unterbruch durchschnittlich mindestens 40 Prozent arbeitsunfähig (<ref-law>) gewesen ist. Es kommt somit auf die Arbeitsunfähigkeit, die "Einbusse an funktionellem Leistungsvermögen", an und nicht auf deren erwerbliche Auswirkungen (vgl. <ref-ruling> E. 3.2 S. 99 und E. 3.3.2 S. 100; Urteil 8C_174/2013 vom 21. Oktober 2013 E. 3.1).
Verwaltung und Vorinstanz haben die Arbeits (un) fähigkeit in diesem Sinne beurteilt und gestützt darauf einen Rentenanspruch verneint. Auf die Vorbringen des Versicherten zu den Folgen für die Erwerbsfähigkeit ist daher nicht einzugehen.
4.2. Kognitionsrechtlich gilt, dass nebst der Feststellung des Gesundheitsschadens (also der Befunderhebung) und der gestützt darauf gestellten Diagnosen namentlich auch die aufgrund der medizinischen Untersuchungsergebnisse gerichtlich festgestellte Arbeits (un) fähigkeit eine Tatfrage betrifft (<ref-ruling> E. 3.2 S. 398), welche als solche einer bundesgerichtlichen Überprüfung nur in beschränktem Rahmen zugänglich ist (vgl. E. 1 hievor).
4.3. Die Vorinstanz ist gestützt auf das Gutachten des ärztlichen Abklärungsinstituts B._ vom 9. Januar 2012 zum Ergebnis gelangt, in einer angepassten Arbeit, wozu auch die früher ausgeübte Tätigkeit eines Wirtschaftsprüfers zähle, bestehe eine Arbeitsfähigkeit von 70 %. Da demnach auch in der angestammten Tätigkeit keine 30 % übersteigende Beeinträchtigung vorliege, seien die Anspruchsvoraussetzungen gemäss <ref-law> nicht erfüllt.
In der Expertise des ärztlichen Abklärungsinstituts B._ wird diese aktuell angenommene - und von den medizinischen Gutachtern für den zurückliegenden Zeitraum eher als geringfügiger eingeschätzte - Einschränkung der Arbeitsfähigkeit mit einem chronischen temporo-mandibulären Schmerzsyndrom rechts (nach mehreren Eingriffen am Kiefer und bei u.a. persistenter leichtgradiger Kiefergelenksarthrose rechts) begründet. Es werden auch weitere Diagnosen, u.a. anhaltende somatoforme Schmerzstörung sowie narzisstische und histrionische Persönlichkeitszüge, gestellt, welche aber gemäss Einschätzung der Fachärzte des ärztlichen Abklärungsinstituts B._ die Arbeitsfähigkeit nicht beeinflussen.
4.3.1. Der Versicherte beanstandet bezüglich der Beurteilung von Gesundheitszustand und Arbeitsfähigkeit aus psychiatrischer Sicht zunächst, es sei keine Stellungnahme des aktuell behandelnden Psychiaters und kein kieferorthopädisches Gutachten eingeholt worden. Zudem liege kein Bericht der psychiatrischen Klinik C._ zu der Hospitalisation vor, welche das Spital D._ gemäss Bericht vom 4. Mai 2007 aufgrund psychiatrischer Diagnosen veranlasst habe. Damit sei der Sachverhalt unvollständig abgeklärt worden und werde der Beweiswert des Gutachtens des ärztlichen Abklärungsinstituts B._ in Frage gestellt. Es ist indessen nicht ersichtlich, inwiefern sich aus solchen Beweisergänzungen ein entscheidrelevanter neuer Aufschluss ergeben könnte, zumal sich der psychiatrische Experte des ärztlichen Abklärungsinstituts B._ bei seiner fachärztlichen Beurteilung auf eine eigene Untersuchung des Versicherten stützen konnte und über den erwähnten Bericht des Spitals D._, aber auch über verschiedene weitere psychiatrische Behandlungs- und Abklärungsberichte verfügte (vgl. auch Urteil 8C_847/2013 vom 14. Februar 2014 E. 5.1.2 zur Bedeutung von fremdanamnestischen Angaben und von Auskünften der behandelnden Ärzte). Von einer kieferorthopädischen Expertise ist erst recht kein verlässlicher weiterer Aufschluss zur psychischen Problematik zu erwarten.
Im gleichen Zusammenhang ist das Vorbringen zu behandeln, zur Beurteilung der Kieferproblematik genüge die bei der Begutachtung des ärztlichen Abklärungsinstituts B._ vorgenommene Abklärung durch einen ORL-Facharzt nicht. Vielmehr sei ein kieferorthopädisches Gutachten erforderlich. Das kantonale Gericht hat hiezu erwogen, die Beurteilungsgebiete der beiden medizinischen Fachgebiete überdeckten sich teilweise, weshalb die Begutachtung durch den ORL-Experten nicht fachfremd gewesen sei. Zudem sei der Zustand des Kiefers bereits in der Vergangenheit fachmännisch abgeklärt worden und seien die Gutachter des ärztlichen Abklärungsinstituts B._ diesbezüglich dokumentiert gewesen. Diese Beurteilung überzeugt entgegen der in der Beschwerde vertretenen Auffassung in allen Teilen.
4.3.2. Der Versicherte beruft sich darauf, aus den medizinischen Vorakten ergäben sich Hinweise auf depressive Episoden mit Hospitalisationen. Der psychiatrische Experte des ärztlichen Abklärungsinstituts B._ verfügte indessen über diese früheren Arztberichte und er hat nachvollziehbar dargelegt, weshalb er sich dadurch zu keiner anderen psychiatrischen Einschätzung veranlasst sieht. Auch die weiteren Vorbringen des Beschwerdeführers zu möglichen anderen psychiatrischen Diagnosen sind nicht geeignet, den Beweiswert des Gutachtens des ärztlichen Abklärungsinstituts B._ in Frage zu stellen. Wenn das kantonale Gericht auf dieses abgestellt hat, ist dies daher in diesem Punkt weder offensichtlich unrichtig noch in anderer Weise rechtswidrig.
4.3.3. Ein weiterer Einwand geht dahin, die somatoforme Schmerzstörung beeinträchtige entgegen der vorinstanzlichen Beurteilung die Arbeitsfähigkeit.
Nach der Rechtsprechung vermögen somatoforme Schmerzstörungen nur ausnahmsweise, unter bestimmten Voraussetzungen, eine lang dauernde, zu einer Invalidität führende Einschränkung der Arbeitsfähigkeit zu bewirken (<ref-ruling> und seitherige Entscheide). Dabei zählt zu den vom Bundesgericht nur eingeschränkt überprüfbaren Tatsachenfeststellungen (vgl. E. 1 und 4.2 hievor), ob eine solche Schmerzstörung vorliegt, und bejahendenfalls, ob Umstände im Sinne der Rechtsprechung gegeben sind, welche die Schmerzbewältigung behindern. Als Rechtsfrage frei überprüfbar ist, ob solche Kriterien in genügender Intensität und Konstanz vorliegen, um gesamthaft den Schluss auf eine nicht mit zumutbarer Willensanstrengung überwindbare Schmerzstörung zu gestatten (<ref-ruling> E. 1.2 S. 66 ff. mit Hinweis).
Das kantonale Gericht hat erkannt, von den massgeblichen Begleitumständen liege lediglich das der chronischen körperlichen Begleiterkrankung vor. Der Versicherte macht geltend, drei weitere Kriterien (kurz: ausgewiesener sozialer Rückzug; primärer Krankheitsgewinn; unbefriedigende Behandlungsergebnisse) seien ebenfalls erfüllt resp. bedürften der weiteren Abklärung. Die Vorinstanz hat diese Kriterien gestützt auf das Gutachten des ärztlichen Abklärungsinstituts B._ verneint. Sämtliche Vorbringen in der Beschwerde sind nicht geeignet, diese Sachverhaltsfeststellungen als offensichtlich unrichtig oder in anderer Weise rechtswidrig erscheinen zu lassen. Das gilt namentlich auch, soweit das kantonale Gericht die Expertise des ärztlichen Abklärungsinstituts B._ als verlässliche und genügende Beurteilungsgrundlage erachtet hat.
Die Würdigung des kantonalen Gerichts, wonach das eine bejahte Kriterium nicht genügt, um die Schmerzstörung ausnahmsweise als unüberwindbar zu betrachten, ist rechtmässig. Der psychiatrische Experte des ärztlichen Abklärungsinstituts B._ gelangte denn auch ebenfalls zum Ergebnis, die Schmerzstörung sei mit zumutbarer Willensanstrengung überwindbar. Der Hinweis des Beschwerdeführers auf körperliche Beschwerden rechtfertigt kein anderes Ergebnis.
4.3.4. Ein zusätzlicher Einwand betrifft die vorinstanzliche Beurteilung, wonach das festgestellte Zumutbarkeitsprofil auch die angestammte Tätigkeit eines Wirtschaftsprüfers erfasse. Der Versicherte macht geltend, das kantonale Gericht habe unzutreffenderweise angenommen, es handle sich hiebei um eine Tätigkeit ohne Anforderungen an die Kommunikation. Zudem sei die beeinträchtigte Kommunikation bei der prozentualen Einschränkung der Arbeitsfähigkeit nicht berücksichtigt worden.
Das Vorbringen betrifft die Behinderung bei der mündlichen Kommunikation aufgrund der Kieferproblematik. Zwar ist im Gutachten des ärztlichen Abklärungsinstituts B._ und im angefochtenen Entscheid auch die Rede davon, zumutbar seien Tätigkeiten ohne Anforderungen an die Kommunikation. Aus den weiteren gutachterlichen Ausführungen und vorinstanzlichen Erwägungen geht aber hervor, dass lediglich höhere Anforderungen an die Kommunikation zu vermeiden sind und dass diese Beeinträchtigung bei der Einschätzung der Restarbeitsfähigkeit berücksichtigt wurde. Das kantonale Gericht hat hiebei auch zutreffend erkannt, dass sich der Versicherte bei der Begutachtung des ärztlichen Abklärungsinstituts B._ durchaus mündlich verständlich machen konnte. Die vorinstanzliche Beurteilung, wonach die bisherige Tätigkeit im Rahmen des gegebenen Zumutbarkeitsprofils ausgeübt werden kann, ist rechtmässig. Die Beschwerde ist somit auch unter diesem Aspekt unbegründet, was zu ihrer Abweisung führt.
5.
Die Gerichtskosten werden dem unterliegenden Beschwerdeführer auferlegt (<ref-law>). Dem Gesuch um unentgeltliche Rechtspflege (im Sinne der vorläufigen Befreiung von den Gerichtskosten und der unentgeltlichen Verbeiständung) kann entsprochen werden, da die Bedürftigkeit ausgewiesen ist, die Beschwerde nicht als aussichtslos zu bezeichnen und die Vertretung durch einen Rechtsanwalt geboten war (Art. 64 Abs. 1 und 2 BGG). Es wird indessen ausdrücklich auf <ref-law> aufmerksam gemacht, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten haben wird, wenn sie später dazu im Stande ist.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt und Rechtsanwalt Thomas Wyss wird als unentgeltlicher Anwalt bestellt.
3.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Gerichtskasse genommen.
4.
Dem Rechtsvertreter des Beschwerdeführers wird aus der Gerichtskasse eine Entschädigung von Fr. 2'800.- ausgerichtet.
5.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 6. Juni 2014
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Leuzinger
Der Gerichtsschreiber: Lanz