Sachverhalt:
A.
A.a. Der 1956 geborene A._ arbeitete seit dem 1. Juni 1993 als Baumaschinist bei der W. B._ AG, als er am 21. Oktober 2009 mit einem Bagger einen Arbeitsunfall erlitt. Gemäss den Akten des zuständigen Unfallversicherers (Schweizerische Unfallversicherungsanstalt; Suva), diagnostizierten die Ärzte der Chirurgischen Klinik und Poliklinik des C._ ein stumpfes Thoraxtrauma mit Rippenserienfrakturen, einen kleinen ventralen Mantelpneumothorax, einen Hämathothorax sowie eine Rissquetschwunde frontal mit offener Nasenbeinfraktur (Austrittsberichte vom 17. und 19. November 2009). Das Bundesgericht bestätigte letztinstanzlich die Leistungseinstellung des Unfallversicherers auf den 13. Juni 2010 mit Urteil 8C_132/2014 vom 2. Mai 2014.
A.b. A._ meldete sich im März 2010 wegen diesen Unfallfolgen bei der Invalidenversicherung zum Leistungsbezug an. Nach Beizug der Unfallakten sowie weiteren beruflich-erwerblichen und medizinischen Abklärungen veranlasste die IV-Stelle des Kantons Zürich eine Begutachtung bei Dr. med. D._, FMH Psychiatrie und Psychotherapie (Gutachten vom 14. März 2013). Mit Vorbescheid vom 22. Oktober 2013 stellte die IV-Stelle die Abweisung des Rentenbegehrens in Aussicht. Aufgrund der Einwände des A._ gab die IV-Stelle ein weiteres Gutachten bei Prof. Dr. med. E._, FMH Oto-Rhino-Laryngologie (ORL), Direktor der Klinik für Ohren-, Nasen-, Hals- und Gesichtschirurgie des Spitals F._ in Auftrag (ORL-Gutachten vom 6. November 2014). Nachdem zusätzlich eine polydisziplinäre Begutachtung am Ärztlichen Begutachtungsinstitut (ABI), Basel, stattgefunden hatte (Expertise vom 22. September 2015), verneinte die IV-Stelle mit Verfügung vom 3. Dezember 2015 bei einem Invaliditätsgrad von 33 % einen Rentenanspruch.
B.
Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich, soweit es darauf eintrat, mit Entscheid vom 28. März 2017 ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, der Entscheid vom 28. März 2017 sei aufzuheben und es seien ihm die gesetzlichen Leistungen, insbesondere eine Rente, zuzusprechen. Ferner ersucht er um unentgeltliche Rechtspflege.
Das Bundesgericht hat die vorinstanzlichen Akten eingeholt, aber keinen Schriftenwechsel durchgeführt.

Erwägungen:
1.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzung gemäss den Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>; vgl. auch <ref-law>). Mit Blick auf diese Kognitionsregelung ist aufgrund der Vorbringen in der Beschwerde ans Bundesgericht zu prüfen, ob der angefochtene Gerichtsentscheid in der Anwendung der massgeblichen materiell- und beweisrechtlichen Grundlagen (u.a.) Bundesrecht verletzt (<ref-law>), einschliesslich einer allfälligen rechtsfehlerhaften Tatsachenfeststellung (Art. 97 Abs. 1, <ref-law>).
2.
Streitig und zu prüfen ist, ob die Vorinstanz zu Recht die Verfügung vom 3. Dezember 2015, wonach kein Rentenanspruch besteht, bestätigte.
3.
Die Vorinstanz erkannte dem psychiatrischen Gutachten des Dr. med. D._ vom 14. März 2013, der ORL-Expertise des Prof. Dr. med. E._ vom 6. November 2014 und dem polydisziplinären ABI-Gutachten vom 22. September 2015 vollen Beweiswert zu. Aus somatischer Sicht bestehe eine symptomatische mediale Gonarthrose links und ein chronisches lumbovertebrales Schmerzsyndrom. Neurologisch seien keine Pathologien erhoben worden. Für die unspezifischen Schwindelerscheinungen seien keine vestibulären Ursachen feststellbar. Die allgemein-internistischen Untersuchungen hätten ein metabolisches Syndrom gezeigt, wobei insbesondere der Diabetes mellitus nicht optimal eingestellt sei. In Würdigung sämtlicher im Recht liegenden medizinischen Berichte stellte das kantonale Gericht auf die von den Gutachtern aus somatischer Sicht attestierte 100%ige Arbeitsfähigkeit in einer leidensangepassten Tätigkeit ab. Der psychiatrische ABI-Gutachter Dr. med. G._ habe sodann eine leichte depressive Episode (ICD-10 F32.0) sowie eine chronische Schmerzstörung mit somatischen und psychischen Faktoren (ICD-10 F45.41) diagnostiziert und sei von einer uneingeschränkten Arbeitsfähigkeit ausgegangen. Das kantonale Gericht erachtete die leichte depressive Episode als Begleiterkrankung des psychosomatischen Leidens, weshalb es die invalidisierende Wirkung der Beschwerden in Anwendung von <ref-ruling> mittels eines strukturierten Beweisverfahrens beurteilte und eine invalidenversicherungsrechtlich relevante psychische Gesundheitsschädigung verneinte. Nachdem die Vorinstanz weiter einen Einkommensvergleich durchgeführt und die wirtschaftliche Verwertbarkeit der attestierten Arbeitsfähigkeit in Bezug auf den ausgeglichenen Arbeitsmarkt bejaht hatte, bestätigte sie die rentenverneinende Verfügung vom 3. Dezember 2015.
4.
4.1. Beschwerdeweise wird als Erstes geltend gemacht, der wohl aus Serbien stammende orthopädische Experte des ABI, Dr. med. H._, sei gegenüber dem mazedonischen Versicherten voreingenommen gewesen, weshalb das Gutachten nicht verwertbar sei. Der vorinstanzliche Entscheid setzt sich mit den diesbezüglichen, bereits im kantonalen Verfahren erhobenen Einwendungen des Beschwerdeführers zutreffend auseinander, worauf verwiesen wird. Es ist einzig zu ergänzen, dass es auch zur Aufgabe des Gutachters gehört, den Befund anhand der Klinik zu überprüfen und dessen Auswirkungen bei der Untersuchung und im Alltag substanziiert darzulegen. Dazu gehören insbesondere ebenfalls Angaben zum beobachteten Verhalten, Feststellungen über die Konsistenz der gemachten Angaben wie auch Hinweise, die zur Annahme von Aggravation führen könnten. Es ist nicht ersichtlich, welche konkreten Passagen im orthopädischen Gutachten aus objektiven Gründen den Anschein der Voreingenommenheit zu begründen vermöchten (vgl. <ref-ruling> E. 7.2.2 S. 110 mit Hinweisen). Die diesbezüglichen vorinstanzlichen Erwägungen sind nicht als willkürliche Beweiswürdigung zu qualifizieren. Auch legt der Beschwerdeführer nicht dar, inwiefern das Gutachten in somatischer Hinsicht falsch sein soll und weshalb die Vorinstanz dieses nicht hätte als beweiswertig ansehen dürfen. Sie gelangte vielmehr anhand einer ausführlichen Würdigung sämtlicher medizinischer Akten zum Schluss, dass auf die attestierte 100%ige Arbeitsfähigkeit aus somatischer Sicht in einer leidensangepassten Tätigkeit abgestellt werden kann, zumal die Ausführungen des Gutachters im Einklang mit den weiteren medizinischen Berichten sind. Diese Feststellungen bleiben demnach verbindlich.
4.2. In der Beschwerde wird weiter im Hinblick auf die psychischen Leiden geltend gemacht, die Indikatorenprüfung sei eine "Farce". Die Behandlungsfrequenz sei wegen ausbleibendem Erfolg reduziert worden und das gute Verhältnis zu seiner Frau als Ressource zu qualifizieren, ziele an der Realität vorbei, da sie ebenfalls krank sei und ein Kind an Epilepsie leide. Die finanzielle Situation als nicht zu berücksichtigender psychosozialer Belastungsfaktor auszuklammern, sei ein unzulässiger Zirkelschluss.
5.
5.1.1 Bei der Beurteilung der Arbeits (un) fähigkeit stützt sich die Verwaltung und im Beschwerdefall das Gericht auf Unterlagen, die von ärztlichen und gegebenenfalls auch anderen Fachleuten zur Verfügung zu stellen sind. Ärztliche Aufgabe ist es, den Gesundheitszustand zu beurteilen und dazu Stellung zu nehmen, in welchem Umfang und bezüglich welcher Tätigkeiten die versicherte Person arbeitsunfähig ist. Hinsichtlich des Beweiswertes eines Arztberichtes ist entscheidend, ob dieser für die streitigen Belange umfassend ist, auf allseitigen Untersuchungen beruht, auch die geklagten Beschwerden berücksichtigt, in Kenntnis der Vorakten (Anamnese) abgegeben worden ist, in der Beurteilung der medizinischen Zusammenhänge sowie der medizinischen Situation einleuchtet und ob die Schlussfolgerungen der Experten begründet sind (<ref-ruling> E. 5.1 S. 232; <ref-ruling> E. 3a S. 352 mit Hinweis). Im Rahmen der freien und umfassenden Beweiswürdigung ist anhand der Akten die Feststellung zu treffen, ob ein Gutachten schlüssig und nachvollziehbar ist (<ref-ruling> E. 6.2.2 S. 269).
5.1.2 Bei den vorinstanzlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit der versicherten Person handelt es sich grundsätzlich um Entscheidungen über eine Tatfrage (<ref-ruling> E. 3.2 S. 397 ff.), welche das Bundesgericht seiner Urteilsfindung zugrunde zu legen hat (E. 1). Dagegen ist die Beachtung des Untersuchungsgrundsatzes und der Beweiswürdigungsregeln Rechtsfrage (<ref-ruling> E. 3.2 und 4 S. 397 ff.; Urteil I 865/06 vom 12. Oktober 2007 E. 4 mit Hinweisen), die das Bundesgericht im Rahmen der den Parteien obliegenden Begründungs- bzw. Rügepflicht (<ref-law> und <ref-law>; <ref-ruling> E. 1.4.1 und 1.4.2 S. 254) frei überprüfen kann (<ref-law>).
5.1.3 Geht es um eine anhaltende somatoforme Schmerzstörung oder ein damit vergleichbares psychosomatisches Leiden (vgl. <ref-ruling> E. 2.2.1.3 S. 13 f.), sind für die Beurteilung der Arbeitsfähigkeit systematisierte Indikatoren beachtlich, die - unter Berücksichtigung leistungshindernder äusserer Belastungsfaktoren einerseits und Kompensationspotentialen (Ressourcen) anderseits - erlauben, das tatsächlich erreichbare Leistungsvermögen einzuschätzen (<ref-ruling> E. 2 S. 285 ff., E. 3.4-3.6 und 4.1 S. 291 ff.). Gemäss altem Verfahrensstandard (<ref-ruling>) eingeholte Gutachten verlieren nicht per se ihren Beweiswert. Vielmehr ist im Rahmen einer gesamthaften Prüfung des Einzelfalls mit seinen spezifischen Gegebenheiten und den erhobenen Rügen entscheidend, ob ein abschliessendes Abstellen auf die vorhandenen Beweisgrundlagen vor Bundesrecht standhält (<ref-ruling> E. 8 S. 309 mit Hinweis auf <ref-ruling> E. 6 S. 266). Im Zuge der objektivierten Betrachtungsweise ist von der grundsätzlichen "Validität" (<ref-ruling> E. 8.1 S. 563) der die materielle Beweislast tragenden versicherten Person auszugehen.
5.2. Was der Beschwerdeführer hinsichtlich der vorinstanzlichen Prüfung der in <ref-ruling> formulierten Standardindikatoren moniert, ist nicht stichhaltig. Er legt nicht dar, worauf er seine Behauptung stützt, die Behandlungskadenz sei mangels Erfolg reduziert worden. Das kantonale Gericht stellte vielmehr fest, dass er bereits im Zeitpunkt der psychiatrischen Begutachtung durch Dr. med. D._ im Februar 2013 nur "knapp" einmal im Monat in psychiatrische Behandlung ins Medizinische Zentrum I._ ging und der Medikamentenspiegel der verordneten Medikation weit unter dem Referenzbereich lag. Im Zeitpunkt der Begutachtung beim ABI hatte er die verordneten Psychopharmaka nur noch nach Bedarf einzunehmen. Der vorinstanzliche Schluss, dass u. a. die Behandlungsbemühungen nicht für einen hohen Schweregrad der Störung sprechen würden, ist haltbar. Daher zielt auch die Kritik, Leistungen der Invalidenversicherung seien nur nach einer formell auferlegten Schadenminderungspflicht einzustellen, in diesem Zusammenhang ins Leere. Gleiches gilt hinsichtlich des Einwandes, das kantonale Gericht habe die schwierige finanzielle Situation rechtsverletzend zu Unrecht nicht als psychosozialen Faktor mitberücksichtigt. Richtig ist, dass das tatsächlich erreichbare Leistungsvermögen ergebnisoffen und symmetrisch beurteilt wird, indem gleichermassen den äusseren Belastungsfaktoren wie den vorhandenen Ressourcen Rechnung zu tragen ist (Urteile 8C_344/2016 vom 23. Februar 2017 E. 3.2; 9C_539/2015 vom 21. März 2016 E. 2.2, in: SVR 2016 IV Nr. 30 S. 90). Selbst wenn im sozialen Kontext die prekäre finanzielle Situation und die Krankheiten von Ehefrau und Tochter als leistungshindernde Belastungsfaktoren mitberücksichtigt würden, änderte dies nichts am Umstand, dass der Gutachter schlüssig von einem uneingeschränkten tatsächlich erreichbaren Leistungsvermögen ausging und dabei die guten Kontakte innerhalb der Familie und die Besuche im albanischen Club nachvollziehbar als positive Beeinflussung der Beschwerden wertete. Gestützt auf die Darlegungen des Experten ergibt sich insgesamt stimmig, dass es mit Blick auf die funktionellen Einschränkungen an der Schwere des Leidens mangelt, um auf eine invalidisierende Gesundheitsbeeinträchtigung zu schliessen, zumal seine Darlegungen im Einklang mit der übrigen medizinischen Aktenlage sind. Entscheidend ist, was der Rechtsanwender frei beurteilt, ob bei einer gesamthaften Würdigung das dem Entscheid zugrunde gelegte Gutachten im Licht der massgeblichen Indikatoren materiell schlüssig ist und die rechtsprechungsgemässen Anforderungen an eine beweiskräftige medizinische Beweisgrundlage erfüllt (<ref-ruling> E. 6 S. 266 ff.; <ref-ruling> E. 4.4 S. 469 f.; <ref-ruling> E. 3a S. 352). Da die Handhabung der Indikatoren im Rahmen des strukturierten Beweisverfahrens stets den Umständen des Einzelfalls anzupassen und der Indikatorenkatalog nicht als "abhakbare Checkliste" zu verstehen ist (<ref-ruling> E. 4.1.1 S. 296 f.), führte hier, wie dargelegt, eine andere Beurteilung einzelner Indizien nicht zwangsläufig zu einem anderen Ergebnis. Das in diesem Zusammenhang gerügte unfaire Verfahren (Art. 6 EMRK) ist nicht auszumachen. Das kantonale Gericht durfte demnach diesem Teilgutachten vollen Beweiswert beimessen, welches überdies beschwerdeweise nicht in Frage gestellt wurde. Es besteht kein Anlass für eine weitere Überprüfung der Beweiskraft des ABI-Gutachtens von Amtes wegen (E. 5.1.2 in fine). Folglich stellte das kantonale Gericht in bindender Weise fest, dass auch in Bezug auf die psychischen Leiden keine Einschränkung der Arbeitsfähigkeit in einer leidensadaptierten Tätigkeit besteht.
6.
6.1. Mit der Vorinstanz ist sodann die Verwertbarkeit der Restarbeitsfähigkeit auf dem ausgeglichenen Arbeitsmarkt zu bejahen. Die Vorbringen des Beschwerdeführers vermögen keine andere Betrachtungsweise zu begründen. Das Hauptargument, sein Alter erlaube keine Selbsteingliederung mehr, widerlegte die Vorinstanz gestützt auf die Rechtsprechung des Bundesgerichts ausführlich. Wie sie darlegte, sind dem im massgebenden Zeitpunkt der Begutachtung durch das ABI (September 2015; <ref-ruling> E. 3.3 S. 462) 59 Jahre alt gewesenen Beschwerdeführer sämtliche körperlich leichten, wechselbelastenden Tätigkeiten im Rahmen eines 100 %-Pensums zumutbar. Derartige körperlich leichte Hilfstätigkeiten werden auf dem massgebenden hypothetischen ausgeglichenen Arbeitsmarkt (<ref-law>) grundsätzlich altersunabhängig nachgefragt (vgl. Urteil 9C_134/2016 vom 12. April 2016 E. 5.3 mit Hinweis). Unverwertbarkeit der Restarbeitsfähigkeit wäre erst anzunehmen, wenn weitere Einschränkungen (beruflicher oder persönlicher Art) hinzukämen und dazu führen würden, dass die zumutbare Tätigkeit nur in so eingeschränkter Form möglich wäre, dass sie der ausgeglichene Arbeitsmarkt praktisch nicht kennen würde und das Finden einer entsprechenden Stelle daher von vornherein als ausgeschlossen erschiene (SVR 2016 IV Nr. 3 S. 7, 8C_582/2015 E. 5.11; vgl. auch <ref-ruling> E. 3.1 S. 459 f.). Die Vorinstanz hat damit kein Bundesrecht verletzt, wenn sie die wirtschaftliche Verwertbarkeit der Restarbeitsfähigkeit bejahte.
6.2. Was die Invaliditätsbemessung betrifft, ist die Festsetzung des hypothetischen Valideneinkommmens nicht bestritten. Die Rüge, aufgrund des Zumutbarkeitsprofils (wechselbelastende, körperlich leichte Tätigkeiten mit der Möglichkeit zu sitzen) sei es bezüglich des Invalideneinkommens nicht sachgerecht, auf die statistischen Werte der Lohnstrukturerhebung des Bundesamtes für Statistik (LSE) zu verweisen, ist unbegründet. Das ärztlich umschriebene Anforderungsprofil schränkt die Einsatzmöglichkeiten nur mässig ein, weshalb diesem ein genügend breites Spektrum an zumutbaren Tätigkeiten auf dem (ausgeglichenen) Arbeitsmarkt im in Frage kommenden Anforderungsniveau 4 zugeordnet werden könnte, weshalb das vorinstanzlich ermittelte Invalideneinkommen gestützt auf einen Tabellenlohn gemäss LSE 2010 nicht zu beanstanden ist. Inwiefern das kantonale Gericht beim gewährten leidensbedingten Abzug von 10 % sein Ermessen rechtsfehlerhaft angewandt oder willkürlich entschieden haben soll, ist weder ersichtlich noch stichhaltig dargetan. Soweit der Versicherte überdies einen Abzug vom Tabellenlohn für die geltend gemachten Schwierigkeiten, die theoretische Restarbeitsfähigkeit auf dem konkreten Arbeitsmarkt zu verwerten, fordert, verkennt er, dass einzig massgebend ist, ob er seine verbliebene Arbeitskraft auf dem ausgeglichenen Arbeitsmarkt noch wirtschaftlich nutzen könnte. Der ausgeglichene Arbeitsmarkt ist ein theoretischer und abstrakter Begriff und berücksichtigt die konkrete Arbeitsmarktlage nicht. Da der Abzug in Würdigung der Umstände gesamthaft zu schätzen ist, basiert der vorinstanzliche Abzug von 10 % im Ergebnis - worauf es alleine ankommt - folglich nicht auf einer rechtsfehlerhaften Ermessensausübung. Damit hat es beim vorinstanzlichen Entscheid sein Bewenden.
7.
Dem Ausgang des Verfahrens entsprechend trägt der Beschwerdeführer die Gerichtskosten (<ref-law>). Die unentgeltliche Rechtspflege kann gewährt werden (<ref-law>). Der Versicherte hat der Bundesgerichtskasse Ersatz zu leisten, wenn er später dazu in der Lage ist (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt und Rechtsanwalt Thomas Wyss wird als unentgeltlicher Anwalt bestellt.
3.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Bundesgerichtskasse genommen.
4.
Dem Rechtsvertreter des Beschwerdeführers wird aus der Bundesgerichtskasse eine Entschädigung von Fr. 2800.- ausgerichtet.
5.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 9. November 2017
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Polla