Sachverhalt: A. Mit Verfügung vom 13. Juli 2011 forderte die IV-Stelle des Kantons Aargau einen Betrag von Fr. 3'000.- von N._ zurück, da sich seine 1992 geborene Tochter X._ in der Zeit vom 1. Januar bis 30. April 2011 nicht in Ausbildung befunden habe. Die Kinderrente zu seiner Invalidenrente sei ihm deshalb zu Unrecht ausgerichtet worden. Die von N._ hiegegen erhobene Beschwerde hiess das Versicherungsgericht des Kantons Aargau mit Entscheid vom 7. August 2012 gut und wies die Sache zu weiteren Abklärungen und anschliessenden Neuentscheid an die IV-Stelle zurück. Nach weiteren Abklärungen und Durchführung des Vorbescheidverfahrens anerkannte die IV-Stelle mit Verfügung vom 19. Februar 2013 den Kinderrentenanspruch für den Monat Januar 2011, hielt demgegenüber an der Rückforderung der Kinderrente für die Monate Februar bis April 2011 fest. B. Die von N._ hiegegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Aargau mit Entscheid vom 12. November 2013 ab. C. Mit Beschwerde beantragt N._, es sei unter Aufhebung der Verfügung und des kantonalen Gerichtsentscheides von einer Rückforderung der Kinderrenten für die Monate Februar bis April 2011 abzusehen. Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.