Sachverhalt:
A.
Der 1959 geborene A._ meldete sich am 29. Juli 1997 erstmals bei der IV-Stelle des Kantons Zürich zum Leistungsbezug an. Diese gewährte ihm berufliche Massnahmen in Form einer Umschulung. Mit Mitteilung vom 28. Juni 2000 schloss sie diese ab und stellte fest, dass der Versicherte rentenausschliessend eingegliedert sei. Im März 2010 meldete sich der Versicherte erneut bei der IV-Stelle zum Leistungsbezug an. Nach medizinischen Abklärungen und Durchführung des Vorbescheidverfahrens sprach die IV-Stelle dem Versicherten mit Verfügung vom 2. Dezember 2014 eine vom 1. September 2010 bis zum 31. Juli 2011 befristete ganze Rente der Invalidenversicherung zu, verneinte aber gleichzeitig einen Rentenanspruch für die Zeit ab 1. August 2011.
B.
Die von A._ hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 16. Dezember 2015 ab.
C.
Mit Beschwerde beantragt A._, es seien die Verfügung und der kantonale Gerichtsentscheid insoweit aufzuheben, als damit für die Zeit ab 1. August 2011 ein Anspruch auf eine Invalidenrente verneint werde und es sei die Sache zu weiteren Abklärungen an die IV-Stelle zurückzuweisen.
Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.
Erwägungen:
1.
1.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzung gemäss Art. 95 und Art. 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist somit weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen oder es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (BGE 140 V 136 E. 1.1 S. 137 f.). Das Bundesgericht prüft indessen, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (Art. 42 Abs. 1 und 2 BGG), nur die geltend gemachten Vorbringen, falls allfällige weitere rechtliche Mängel nicht geradezu offensichtlich sind (BGE 138 I 274 E. 1.6 S. 280; vgl. auch BGE 140 V 136 E. 1.1 S. 138).
1.2. Das Bundesgericht kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein (Art. 97 Abs. 1 BGG). Neue Tatsachen und Beweismittel dürfen nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (Art. 99 Abs. 1 BGG).
Die beschwerdeführende Partei, welche die Sachverhaltsfeststellungen der Vorinstanz anfechten will, muss substanziiert darlegen, inwiefern die Voraussetzungen einer Ausnahme gemäss Art. 105 Abs. 2 BGG gegeben sind und das Verfahren bei rechtskonformer Ermittlung des Sachverhalts anders ausgegangen wäre; andernfalls kann ein Sachverhalt, der vom im angefochtenen Entscheid festgestellten abweicht, nicht berücksichtigt werden (BGE 140 III 16 E. 1.3.1 S. 18 mit Hinweisen).
2.
2.1. Der Anspruch auf Leistungen der Invalidenversicherung setzt unter anderem voraus, dass die versicherte Person invalid oder von Invalidität unmittelbar bedroht ist. Invalidität ist gemäss Art. 8 Abs. 1 ATSG die voraussichtlich bleibende oder längere Zeit dauernde ganze oder teilweise Erwerbsunfähigkeit.
2.2. Bei den vorinstanzlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit der versicherten Person handelt es sich grundsätzlich um Entscheidungen über Tatfragen (BGE 132 V 393 E. 3.2 S. 397 ff.). Dagegen ist die Beachtung des Untersuchungsgrundsatzes und der Beweiswürdigungsregeln nach Art. 61 lit. c ATSG Rechtsfrage (BGE 132 V 393 E. 3.2 und 4 S. 397 ff.; Urteil I 865/06 vom 12. Oktober 2007 E. 3.2).
2.3. Streitig und zu prüfen ist, ob die Vorinstanz Bundesrecht verletzte, als sie die Befristung der von der IV-Stelle zugesprochenen ganzen Rente auf den 31. Juli 2011 bestätigte.
3.
Das kantonale Gericht hat in umfassender Würdigung der medizinischen Akten, insbesondere unter Berücksichtigung des Gutachtens des Ärztliche Begutachtungsinstituts (ABI), Basel, vom 27. Januar 2014 für das Bundesgericht grundsätzlich verbindlich festgestellt, dass der Versicherte seit April 2011 in einer Tätigkeit im kaufmännischen Bereich zu 100 % arbeits- und leistungsfähig ist. Was der Beschwerdeführer gegen diese Feststellung vorbringt, vermag sie nicht als bundesrechtswidrig erscheinen zu lassen. Auf ein im Verfahren nach Art. 44 ATSG eingeholtes Gutachten ist rechtsprechungsgemäss abzustellen, wenn nicht konkrete Indizien gegen die Zuverlässigkeit der Expertise sprechen (BGE 135 V 465 E. 4.4 S. 470). Entgegen den Ausführungen des Versicherten wird im Gutachten des ABI nachvollziehbar begründet, weshalb sich die in der Expertise der Gutachterstelle B._ vom 21. September 2011 gestellte Diagnose eines ängstlich betonten depressiven Syndroms nicht halten lässt. Unzutreffend ist auch die Rüge, das ABI habe der Schmerzproblematik keine Beachtung geschenkt, wird doch die Diagnose einer Schmerzverarbeitungsstörung von den Gutachtern diskutiert und ausdrücklich verworfen. Weiter findet sich im Gutachten des ABI durchaus eine Auseinandersetzung mit der abweichenden Einschätzung der Arbeitsfähigkeit durch Dr. med. C._, FMH Chirurgie. Soweit der Beschwerdeführer schliesslich unter Verweis auf die Atteste von Dr. med. D._, Orthopädische Chirurgie und Traumatologie des Bewegungsapparates FMH, geltend macht, seit 24. September 2014 wieder voll arbeitsunfähig zu sein, gilt es festzuhalten, dass eine entsprechende Arbeitsunfähigkeit zum Vornherein keinen Rentenanspruch im vorliegend streitigen Zeitraum bis 2. Dezember 2014 zu begründen vermöchte. Auf weitere Abklärungen zum Gesundheitszustand des Versicherten kann daher verzichtet werden.
4.
Das kantonale Gericht hat im Weiteren für das Bundesgericht verbindlich festgestellt, dass der Versicherte seine Stelle bei der E._ nicht aus gesundheitlichen, sondern aus wirtschaftlichen Gründen verlor. Diese Feststellung erscheint jedenfalls nicht als offensichtlich unrichtig, womit der vorinstanzliche Prozentvergleich zur Bestimmung des Invaliditätsgrades nicht bundesrechtswidrig ist. Zudem legt der Beschwerdeführer auch nicht dar, dass bei Annahme eines Stellenverlustes aus gesundheitlichen Gründen ein rentenbegründender Invaliditätsgrad resultieren würde. Die Beschwerde des Versicherten ist somit auch in diesem Punkt abzuweisen.
5.
Dem Ausgang des Verfahrens entsprechend sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 2. August 2016
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Der Gerichtsschreiber: Nabold