Sachverhalt:
A.
Der zuletzt als Koch tätig gewesene A._ meldete sich am 22. März 2010 unter Hinweis auf eine Diskushernie bei der Invalidenversicherung zum Leistungsbezug an. Nach erwerblichen und medizinischen Abklärungen, namentlich nach Einholung einer interdisziplinären Begutachtung der Ärztlichen Begutachtungsinstitut GmbH (ABI), Basel, vom 30. Mai 2012 teilte die IV-Stelle Schwyz mit Vorbescheid vom 18. Juli 2012 mit, dass kein Anspruch auf eine Invalidenrente bestehe. Nach einer weiteren Begutachtung im Zentrum für interdisziplinäre Medizinische Begutachtungen AG, Schwyz (ZIMB; Expertise vom 22. Mai 2014) hielt die IV-Stelle mit Vorbescheid vom 26. Juni 2014 daran fest, dass kein rentenbegründender Invaliditätsgrad gegeben sei. Sie holte Berichte der Psychiatrischen Klinik B._ und des Medizinischen Zentrums C._ ein, wo A._ sich behandeln liess. Mit Verfügung vom 15. Oktober 2015 verneinte die IV-Stelle den Anspruch auf eine Invalidenrente.
B.
Die hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 3. März 2016 ab.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt A._ beantragen, es sei ihm in Aufhebung des vorinstanzlichen Entscheids vom 3. März 2016 und der Verfügung der IV-Stelle vom 15. Oktober 2015 eine ganze Invalidenrente zuzusprechen, eventualiter sei die Sache zu weiteren medizinischen Abklärungen an die Vorinstanzen zurückzuweisen.
Die vorinstanzlichen Akten wurden eingeholt. Ein Schriftenwechsel wurde nicht durchgeführt.

Erwägungen:
1.
1.1. Die Beschwerde kann wegen Rechtsverletzung gemäss Art. 95 und Art. 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist somit weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (vgl. <ref-ruling> E. 1.4 S. 140). Gemäss <ref-law> ist die Beschwerde hinreichend zu begründen, andernfalls wird darauf nicht eingetreten (<ref-law>). Das Bundesgericht prüft grundsätzlich nur die geltend gemachten Rügen; es ist nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu prüfen, wenn diese vor Bundesgericht nicht mehr vorgetragen wurden. Es kann die Verletzung von Grundrechten und von kantonalem und interkantonalem Recht nur insofern prüfen, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (<ref-law>).
1.2. Nach <ref-law> legt das Bundesgericht seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Abs. 1). Es kann diese Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (Abs. 2). Die Voraussetzungen für eine Sachverhaltsrüge nach <ref-law> und für eine Berichtigung des Sachverhalts von Amtes wegen nach <ref-law> stimmen im Wesentlichen überein. Soweit es um die Frage geht, ob der Sachverhalt willkürlich oder unter verfassungswidriger Verletzung einer kantonalen Verfahrensregel ermittelt worden ist, sind strenge Anforderungen an die Begründungspflicht der Beschwerde gerechtfertigt. Entsprechende Beanstandungen sind vergleichbar mit den in <ref-law> genannten Rügen. Demzufolge genügt es nicht, einen von den tatsächlichen Feststellungen der Vorinstanz abweichenden Sachverhalt zu behaupten. Vielmehr ist in der Beschwerdeschrift nach den erwähnten gesetzlichen Erfordernissen darzulegen, inwiefern diese Feststellungen willkürlich bzw. unter Verletzung einer verfahrensrechtlichen Verfassungsvorschrift zustande gekommen sind. Andernfalls können Vorbringen mit Bezug auf einen Sachverhalt, der von den Feststellungen im angefochtenen Entscheid abweicht, nicht berücksichtigt werden. Vorbehalten bleiben offensichtliche Sachverhaltsmängel im Sinne von <ref-law>, die dem Richter geradezu in die Augen springen (<ref-ruling> E. 6.2 S. 288; <ref-ruling> E. 1.4.3 S. 255).
1.3. Ob gestützt auf die ärztlichen Feststellungen bei diagnostizierten anhaltenden somatoformen Schmerzstörungen oder vergleichbaren psychosomatischen Leiden und erkannter Aggravation auf einen Ausschlussgrund geschlossen werden kann, stellt eine frei überprüfbare Rechtsfrage dar (SVR 2015 IV Nr. 38 S. 121 E. 4.1, 9C_899/2014; Urteile 8C_925/2015 vom 9. Mai 2016 E. 1.3 und 8C_26/2016 vom 18. Mai 2016 E. 1.3).
2.
Streitig und zu prüfen ist, ob das kantonale Gericht Bundesrecht verletzte, indem es die Verneinung eines Rentenanspruchs bestätigte. Nicht bestritten ist, dass dem Versicherten die bisher ausgeübte Tätigkeit als Koch im Gastgewerbe aufgrund des somatischen Beschwerdebildes nicht mehr zumutbar ist. Strittig sind hingegen der Umfang der Arbeitsfähigkeit in einer körperlich leichten, wechselbelastenden Tätigkeit und diesbezüglich namentlich allfällige Einschränkungen aufgrund des psychischen Zustands.
2.1. Die Vorinstanz hat die Bestimmungen und Grundsätze über den Begriff der Erwerbsunfähigkeit (<ref-law>) und der Invalidität (<ref-law> in Verbindung mit <ref-law>) sowie den Anspruch auf eine Invalidenrente (<ref-law>) zutreffend dargelegt. Dasselbe gilt für die Ermittlung des Invaliditätsgrades nach der allgemeinen Methode des Einkommensvergleichs (<ref-law>), die Aufgabe des Arztes im Rahmen der Invaliditätsbemessung (<ref-ruling> E. 3.2 S. 195; <ref-ruling> E. 4 S. 99) und die Würdigung medizinischer Berichte (<ref-ruling> E. 1.3.4 S. 227; <ref-ruling> E. 3a S. 352), namentlich bei Hausärzten (BGE <ref-ruling> E. 3b/cc S. 353). Darauf wird verwiesen.
2.2. Anzufügen bleibt, dass regelmässig keine versicherte Gesundheitsschädigung vorliegt, soweit die Leistungseinschränkung auf Aggravation oder einer ähnlichen Erscheinung beruht. Hinweise auf solche und andere Äusserungen eines sekundären Krankheitsgewinns (dazu <ref-ruling> E. 3.3 S. 197) ergeben sich namentlich, wenn: eine erhebliche Diskrepanz zwischen den geschilderten Schmerzen und dem gezeigten Verhalten oder der Anamnese besteht; intensive Schmerzen angegeben werden, deren Charakterisierung jedoch vage bleibt; keine medizinische Behandlung und Therapie in Anspruch genommen wird; demonstrativ vorgetragene Klagen auf den Sachverständigen unglaubwürdig wirken; schwere Einschränkungen im Alltag behauptet werden, das psychosoziale Umfeld jedoch weitgehend intakt ist (<ref-ruling> E. 2.2.1 S. 287 mit Hinweisen). Besteht im Einzelfall Klarheit darüber, dass solche Ausschlussgründe die Annahme einer Gesundheitsbeeinträchtigung verbieten, so besteht von vornherein keine Grundlage für eine Invalidenrente (<ref-ruling> E. 2.2.2 S. 288; Urteil 8C_443/2015 vom 18. Januar 2016 E. 3).
3.
3.1. Das kantonale Gericht hat in Würdigung der medizinischen Aktenlage, insbesondere gestützt auf das interdisziplinäre Gutachten des ZIMB vom 22. Mai 2014, aber auch gestützt auf die Berichte der Psychiatrischen Klinik D._ vom 15. April 2011 sowie des Dr. med. E._, Facharzt für Neurologie, vom 8. April 2011 und das ABI-Gutachten vom 30. Mai 2012 in für das Bundesgericht grundsätzlich verbindlicher Weise (E. 1.2) festgestellt, in Anbetracht der Diskrepanzen und Inkonsistenzen in den verschiedenen Berichten liege beim Versicherten eine Aggravation vor. Ausgehend davon kam es zum Schluss, es sei kein invalidenversicherungsrechtlich massgeblicher Gesundheitsschaden ausgewiesen, so dass mit den Gutachtern des ZIMB von einer vollen Arbeitsfähigkeit in einer angepassten Tätigkeit ausgegangen werden könne. In der Folge verneinte es den Anspruch auf eine Invalidenrente.
3.2. Was der Versicherte dagegen vorbringt, führt zu keinem anderen Ergebnis:
3.2.1. Beschwerdeweise wird eine Verletzung des rechtlichen Gehörs gerügt mit der Begründung, dass sich das kantonale Gericht zu verschiedenen Rügen nicht geäussert habe. Indessen sind Verwaltungsbehörden und Sozialversicherungsgerichte auch in Nachachtung des in <ref-law> verankerten Gehörsanspruchs nicht gehalten, sich ausdrücklich mit jeder tatbeständlichen Behauptung und jedem rechtlichen Einwand auseinanderzusetzen; sie können sich vielmehr auf die für den Entscheid wesentlichen Gesichtspunkte beschränken (<ref-ruling> E. 9.2 S. 65; <ref-ruling> E. 2.2 S. 183, 126 I 97 E. 2b S. 102; <ref-ruling> E. 1a S. 181; SVR 2001 IV Nr. 17 S. 49, I 582/99 E. 2a). Diese Anforderungen erfüllt der vorinstanzliche Entscheid. Das rechtliche Gehör des Versicherten (<ref-law>) ist nicht verletzt.
3.2.2. Sodann vermag keine Willkür damit begründet zu werden, dass Verwaltung und Vorinstanz in erster Linie auf das interdisziplinäre Gutachten des ZIMB vom 22. Mai 2014 abstellten, welches die IV-Stelle eingeholt hatte, nachdem der Beschwerdeführer das ABI-Gutachten vom 30. Mai 2012 als hochgradig widersprüchlich sowie unhaltbar qualifiziert und eine Verschlechterung des psychischen Zustandes geltend gemacht hatte. Insbesondere wurden dem Versicherten die Einholung einer weiteren polydisziplinären Untersuchung korrekt angezeigt, die Fragen an die Gutachterstelle zugestellt und ihm Gelegenheit eingeräumt, Zusatzfragen zu stellen. Von letzterem machte der Beschwerdeführer denn auch Gebrauch, ohne die Einholung eines weiteren Gutachtens an sich zu beanstanden. Wenn er sich nun nachträglich auf die im von ihm kritisierten ABI-Gutachten attestierte höhere Arbeitsunfähigkeit beruft, muss sein Verhalten als widersprüchlich qualifiziert werden.
3.2.3. Die Vorinstanz hat die medizinische Aktenlage einlässlich und pflichtgemäss gewürdigt. Das eingeholte interdisziplinäre Gutachten des ZIMB vom 22. Mai 2014 erfüllt, wie das kantonale Gericht dargelegt hat, die von der Rechtsprechung gestellten Anforderungen, beruht auf eigenen Untersuchungen und setzt sich mit den anderen medizinischen Berichten auseinander. Entgegen den Einwendungen des Beschwerdeführers nimmt es insbesondere auch Bezug auf die abweichende Diagnosestellung im ABI-Gutachten vom 30. Mai 2012. Das kantonale Gericht hat sodann überzeugend aufgezeigt, dass sich der Aggravationsvorwurf wie ein roter Faden durch die medizinischen Akten zieht, indem es auf verschiedene Inkonsistenzen und Diskrepanzen hinwies. Damit setzt sich der Beschwerdeführer nicht rechtsgenüglich auseinander.
3.2.4. Da infolge der Aggravation in psychischer Hinsicht kein sozialversicherungsrechtlich massgebender Gesundheitsschaden ausgewiesen ist (<ref-ruling> E. 2.2 S. 287; <ref-ruling> E. 1.2 S. 51), ist mit der Vorinstanz von einer zumutbaren vollen Arbeitsfähigkeit in einer angepassten Tätigkeit auszugehen.
3.2.5. Mangels Einwendungen gegen die dem vorgenommen Einkommensvergleich zu Grunde gelegten Vergleichseinkommen und fehlenden Anhaltspunkten in den Akten, wonach diese offensichtlich unzutreffend wären, kann gemäss Verfügung vom 15. Oktober 2015 für das Jahr 2014 von einem Valideneinkommen von Fr. 62'351.- und von einem anhand der Tabellenlöhne ermittelten Invalideneinkommen von Fr. 66'132.- ausgegangen werden. Selbst wenn das Invalideneinkommen um den vom Beschwerdeführer geltend gemachten maximal möglichen leidensbedingten Abzug von 25 % anstatt um den gewährten Abzug von 5 % reduziert würde, ergäbe sich bei einem daraus resultierenden Invalideneinkommen von Fr. 49'599.- in Gegenüberstellung mit dem Valideneinkommen von Fr. 62'351.- ein rentenausschliessender Invaliditätsgrad von 20,45 %.
3.3. Zusammenfassend hat es beim angefochtenen Entscheid sein Bewenden.
4.
Das Verfahren ist kostenpflichtig. Der unterliegende Beschwerdeführer hat die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Schwyz und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 12. August 2016
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Kopp Käch