Sachverhalt: A. Der 1946 geborene K._ bezieht seit 1. Juli 1986 eine Entschädigung wegen Hilflosigkeit leichten Grades bzw. seit 1. Februar 1996 eine Entschädigung wegen Hilflosigkeit mittleren Grades. Auf den 1. Januar 2004 wurden die Hilflosenentschädigungen für nicht in einem Heim lebende versicherte Personen betragsmässig erhöht; eine entsprechende Revision der Entschädigung des K._ fand indessen nicht statt. Am 8. Januar 2011 wandte sich der Versicherte an die IV-Stelle des Kantons Zürich und erkundigte sich, weshalb er lediglich eine Entschädigung gemäss den Ansätzen der Heimbewohner erhalte, wo er doch noch nie in einem Heim gewohnt habe. Mit Verfügung vom 12. April 2011 sprach die IV-Stelle dem Versicherten die Nachzahlung des Differenzbetrages zwischen den beiden Entschädigungsarten für die Zeit ab 1. Januar 2006 zu, verneinte aber gleichzeitig einen Nachzahlungsanspruch für die Zeit zwischen dem 1. Januar 2004 und dem 31. Dezember 2005. B. Die von K._ hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 28. September 2012 ab. C. Mit Beschwerde beantragt K._, ihm sei unter Anpassung der Verfügung und Aufhebung des kantonalen Gerichtsentscheides der Differenzbetrag zuzüglich Zinsen auch für die Zeit vom 1. Januar 2004 bis 31. Dezember 2005 nachzuzahlen. Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.