Sachverhalt:
A.
A.a. Der 1946 geborene A._ bezieht seit 1. Juli 1986 eine Entschädigung wegen Hilflosigkeit leichten Grades bzw. seit 1. Februar 1996 eine Entschädigung wegen Hilflosigkeit mittleren Grades. Auf den 1. Januar 2004 wurden die Hilflosenentschädigungen für nicht in einem Heim lebende versicherte Personen betragsmässig erhöht; die Entschädigung des A._ wurde indessen nicht entsprechend angepasst. Am 8. Januar 2011 wandte sich der Versicherte an die IV-Stelle des Kantons Zürich und erkundigte sich, weshalb er lediglich eine Entschädigung gemäss den Ansätzen der Heimbewohner erhalte, wo er doch noch nie in einem Heim gewohnt habe. Mit Verfügung vom 12. April 2011 sprach die IV-Stelle dem Versicherten die Nachzahlung des Differenzbetrages zwischen den beiden Entschädigungsarten für die Zeit ab 1. Januar 2006 zu, verneinte aber gleichzeitig einen Nachzahlungsanspruch für die Zeit zwischen dem 1. Januar 2004 und dem 31. Dezember 2005. Das Bundesgericht wies die hiegegen erhobene Beschwerde mit Urteil 8C_977/2012 vom 27. März 2013 letztinstanzlich ab.
A.b. Bereits am 23. November 2011 machte A._ gegenüber der IV-Stelle vorsorglich einen Schadenersatzanspruch geltend. Nach Vorliegen des bundesgerichtlichen Urteils vom 27. März 2013 wies die IV-Stelle das Schadenersatzbegehren mit Verfügung vom 30. Januar 2014 ab.
B.
Die von A._ hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 29. Februar 2016 ab.
C.
Mit Beschwerde beantragt A._, die IV-Stelle sei unter Aufhebung der Verfügung und des kantonalen Gerichtsentscheides zu verpflichten, ihm Schadenersatz in der Höhe vom Fr. 25'560.- zuzüglich Zins von 5 % ab dem 1. Januar 2005 und Anwaltskosten in der Höhe von Fr. 12'031.80 zuzüglich Zins von 5 % ab dem 28. September 2012 zu bezahlen.
Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.

Erwägungen:
1.
Angefochten ist ein Endentscheid einer letzten kantonalen Instanz (Art. 86 Abs. 1 lit. d, Art. 90 BGG). Dieser verneint einen Anspruch des Beschwerdeführers gegen die IV-Stelle auf Schadenersatz im Sinne von Art. 78 ATSG und betrifft somit eine öffentlich-rechtliche Angelegenheit im Sinn von Art. 82 lit. a BGG. Die Beschwerde ist auf dem Gebiet der Staatshaftung unter anderem zulässig, wenn der Streitwert nicht weniger als Fr. 30'000.- beträgt (Art. 85 Abs. 1 lit. b BGG). Dieser Betrag ist gemäss der vorinstanzlichen Streitwertberechnung vorliegend erreicht, so dass auf die Beschwerde einzutreten ist.
2.
2.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Pflicht zur Begründung der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1 S. 236 mit Hinweisen).
2.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann deren Sachverhaltsfeststellung berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG).
3.
Es steht fest und ist unbestritten, dass der Beschwerdeführer für die Zeit vom 1. Januar 2004 und dem 31. Dezember 2005 Anspruch auf eine höhere als die tatsächlich ausbezahlte Hilflosenentschädigung gehabt hätte, er jedoch wegen verspäteter Geltendmachung im Sinne von Art. 24 Abs. 1 ATSG keinen Anspruch auf Nachzahlung des Differenzbetrages hat (vgl. Urteil 8C_977/2012 vom 27. März 2013). Streitig und zu prüfen ist demgegenüber, ob er den Differenzbetrag als Schadenersatz von der IV-Stelle verlangen kann.
4.
4.1. Für Schäden, die von Durchführungsorganen oder einzelnen Funktionären von Versicherungsträgern einer versicherten Person oder Dritten widerrechtlich zugefügt wurden, haften gemäss Art. 78 Abs. 1 ATSG die öffentlichen Körperschaften, privaten Trägerorganisationen oder Versicherungsträger, die für diese Organe verantwortlich sind. Diese Bestimmung statuiert eine Kausalhaftung. Es ist somit kein Verschulden verlangt. Hingegen muss ein Kausalzusammenhang zwischen der widerrechtlichen Handlung und dem Schaden bestehen (<ref-ruling> E. 7 S. 18 mit Hinweis). Widerrechtlichkeit im Sinne von Art. 78 Abs. 1 ATSG setzt die Verletzung einer Gesetzesbestimmung zum Schutz der Interessen Dritter voraus, ohne dass es dafür einen Rechtfertigungsgrund gibt (Art. 3 Abs. 1 VG in Verbindung mit Art. 78 Abs. 4 ATSG; <ref-ruling> E. 3.2 S. 79). Eine Vermögensschädigung für sich allein genommen ist nicht rechtswidrig; sie ist es nur, wenn sie auf ein Verhalten zurückgeht, das als solches, d.h. unabhängig von seiner Wirkung auf das Vermögen, von der Rechtsordnung verpönt wird (<ref-ruling> E. 2a S. 195; Urteil 2A.511/2005 vom 16. Februar 2009 E. 5.1). Die auf einer fehlerhaften Rechtsanwendung beruhende Verweigerung von Sozialversicherungsleistungen fällt grundsätzlich nicht unter den Begriff der Widerrechtlichkeit im Sinne von Art. 78 Abs. 1 ATSG (vgl. Urteil 9C_143/2014 vom 22. Juli 2014 E. 3 mit weiteren Hinweisen).
4.2. Die Vorinstanz bejahte eine Widerrechtlichkeit unter Hinweis auf lit. a Abs. 1 der am 1. Januar 2004 in Kraft getretenen Schlussbestimmungen der Änderung des IVG vom 21. März 2003. Gemäss dieser Norm waren die nach vorherigem Recht zugesprochenen Hilflosenentschädigungen, Pflegebeiträge für hilflose Minderjährige und Beiträge an die Kosten der Hauspflege innert eines Jahres nach Inkrafttreten der Gesetzesänderung zu überprüfen. Gesetzesartikel, welche die Versicherungsträger lediglich zur (Über-) Prüfung der Leistungsansprüche verpflichten, stellen jedoch rechtsprechungsgemäss keine Normen zum Schutz des Vermögens der interessierten Personen dar (so bezüglich Art. 17 in Verbindung mit Art. 49 Abs. 1 ATSG: <ref-ruling> E. 3.3.1 S. 79 f.). Sinn und Zweck von lit. a Abs. 1 der genannten Schlussbestimmung ist denn auch nicht der Schutz des Vermögens versicherter Personen vor dem Handeln bzw. Nichthandeln der Behörde, sondern die Schaffung eines speziellen Revisionsgrundes, damit auch die laufenden Leistungen an die neue Gesetzeslage angepasst werden konnten (vgl. zu dieser Problematik: <ref-ruling> E. 6.1.1 S. 205 f.). Somit vermöchte selbst eine Verletzung der Schlussbestimmungen durch Nichtanhandnahme der vorgesehenen Überprüfung keine Widerrechtlichkeit im Sinne von Art. 78 Abs. 1 ATSG zu begründen. Anders zu entscheiden würde im Übrigen in einem Wertungswiderspruch zur Rechtsprechung stehen, wonach Art. 24 Abs. 1 ATSG auch für rechtzeitig angemeldete Leistungsansprüche gilt (vgl. Urteil 8C_977/2012 vom 27. März 2013 E. 3.2 mit zahlreichen weiteren Hinweisen), ist doch kaum eine Konstellation denkbar, in der rechtzeitig angemeldete Leistungsansprüche in Anwendung von Art. 24 Abs. 1 ATSG untergehen, ohne dass dem Versicherungsträger der Vorwurf einer nicht genügend umfassenden Prüfung der Ansprüche gemacht werden könnte.
4.3. Fehlt es demnach bereits klarerweise an einer Widerrechtlichkeit im Sinne von Art. 78 Abs. 1 ATSG, so besteht kein Schadenersatzanspruch gestützt auf diese Norm. Es braucht nicht näher überprüft zu werden, ob zwischen der unterlassenen Überprüfung des Leistungsanspruchs und dem Untergang desselben in Anwendung von Art. 24 Abs. 1 ATSG ein adäquater Kausalzusammenhang besteht, oder ob, wie von der Vorinstanz erwogen, die Adäquanz eines solchen Kausalzusammenhanges durch ein grobes Selbstverschulden des Beschwerdeführers unterbrochen wurde. Das kantonale Gericht hat somit jedenfalls im Ergebnis zu Recht einen Schadenersatzanspruch verneint; die Beschwerde ist demnach abzuweisen.
5.
Dem Prozessausgang entsprechend sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 3'000.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 24. Januar 2017
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Der Gerichtsschreiber: Nabold