Sachverhalt: A. Der 1981 geborene A._ meldete sich am 6. März 2015 bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons St. Gallen tätigte verschiedene Abklärungen und holte die Akten des Taggeldversicherers ein, darunter ein psychiatrisches Gutachten der Dr. med. B._, Fachärztin für Psychiatrie und Psychotherapie, vom 10. September 2015. Mit Vorbescheid vom 8. Dezember 2015 stellte sie dem Versicherten die Abweisung des Leistungsbegehrens in Aussicht. Nachdem A._ dagegen Einwände erheben lassen hatte, klärte die IV-Stelle den Sachverhalt in medizinischer Hinsicht weiter ab. Gestützt auf das von ihr veranlasste polydisziplinäre Gutachten der Ärztliches Begutachtungs-Institut (ABI) GmbH, Basel, vom 27. März 2017 kündigte sie dem Versicherten erneut die Abweisung seines Leistungsbegehrens an (Vorbescheid vom 18. September 2017). Daran hielt sie nach Rückfrage bei den ABI-Gutachtern mit Verfügung vom 26. April 2018 fest. B. Die dagegen erhobene Beschwerde wies das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 12. Juni 2020 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt A._ beantragen, es sei der angefochtene Entscheid aufzuheben und ihm mit Wirkung ab dem 1. März 2016 eine unbefristete ganze Invalidenrente zuzusprechen. Eventualiter sei die Sache zwecks weiterer Abklärungen an die IV-Stelle zurückzuweisen. Zudem ersucht er um Gewährung der unentgeltlichen Rechtspflege und Verbeiständung. Die vorinstanzlichen Akten wurden eingeholt. Ein Schriftenwechsel wurde nicht durchgeführt.