Sachverhalt: A. Der zuletzt als Koch tätig gewesene A._ meldete sich am 22. März 2010 unter Hinweis auf eine Diskushernie bei der Invalidenversicherung zum Leistungsbezug an. Nach erwerblichen und medizinischen Abklärungen, namentlich nach Einholung einer interdisziplinären Begutachtung der Ärztlichen Begutachtungsinstitut GmbH (ABI), Basel, vom 30. Mai 2012 teilte die IV-Stelle Schwyz mit Vorbescheid vom 18. Juli 2012 mit, dass kein Anspruch auf eine Invalidenrente bestehe. Nach einer weiteren Begutachtung im Zentrum für interdisziplinäre Medizinische Begutachtungen AG, Schwyz (ZIMB; Expertise vom 22. Mai 2014) hielt die IV-Stelle mit Vorbescheid vom 26. Juni 2014 daran fest, dass kein rentenbegründender Invaliditätsgrad gegeben sei. Sie holte Berichte der Psychiatrischen Klinik B._ und des Medizinischen Zentrums C._ ein, wo A._ sich behandeln liess. Mit Verfügung vom 15. Oktober 2015 verneinte die IV-Stelle den Anspruch auf eine Invalidenrente. B. Die hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 3. März 2016 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt A._ beantragen, es sei ihm in Aufhebung des vorinstanzlichen Entscheids vom 3. März 2016 und der Verfügung der IV-Stelle vom 15. Oktober 2015 eine ganze Invalidenrente zuzusprechen, eventualiter sei die Sache zu weiteren medizinischen Abklärungen an die Vorinstanzen zurückzuweisen. Die vorinstanzlichen Akten wurden eingeholt. Ein Schriftenwechsel wurde nicht durchgeführt.