Sachverhalt: A. Der 1959 geborene A._ meldete sich am 29. Juli 1997 erstmals bei der IV-Stelle des Kantons Zürich zum Leistungsbezug an. Diese gewährte ihm berufliche Massnahmen in Form einer Umschulung. Mit Mitteilung vom 28. Juni 2000 schloss sie diese ab und stellte fest, dass der Versicherte rentenausschliessend eingegliedert sei. Im März 2010 meldete sich der Versicherte erneut bei der IV-Stelle zum Leistungsbezug an. Nach medizinischen Abklärungen und Durchführung des Vorbescheidverfahrens sprach die IV-Stelle dem Versicherten mit Verfügung vom 2. Dezember 2014 eine vom 1. September 2010 bis zum 31. Juli 2011 befristete ganze Rente der Invalidenversicherung zu, verneinte aber gleichzeitig einen Rentenanspruch für die Zeit ab 1. August 2011. B. Die von A._ hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 16. Dezember 2015 ab. C. Mit Beschwerde beantragt A._, es seien die Verfügung und der kantonale Gerichtsentscheid insoweit aufzuheben, als damit für die Zeit ab 1. August 2011 ein Anspruch auf eine Invalidenrente verneint werde und es sei die Sache zu weiteren Abklärungen an die IV-Stelle zurückzuweisen. Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.