Sachverhalt: A. Der 1962 geborene A._ war seit März 1989 als Bauarbeiter tätig. Am 18. Oktober 1993 wurde er von der Arbeitgeberfirma fristlos entlassen. Am 30. Juni 1994 meldete er sich unter Hinweis auf Rückenschmerzen und Beschwerden an der Halswirbelsäule (HWS) bei der Invalidenversicherung zum Rentenbezug an. Die IV-Stelle des Kantons Aargau traf Abklärungen in medizinischer und erwerblicher Hinsicht. U.a. ordnete sie eine berufliche Abklärung in der BEFAS an, welche am 17. Juli 1995 über den vom 29. Mai bis 23. Juni 1995 dauernden Aufenthalt berichtete. Gemäss Verfügung vom 5. Januar 1996 sprach die IV-Stelle A._ rückwirkend ab 1. Juli 1994 bei einem Invaliditätsgrad von 100 % eine ganze Invalidenrente zu. Diese Rentenzusprechung wurde im Rahmen von Revisionen wiederholt bestätigt. Am 30. November 2010 leitete die Verwaltung ein neues Revisionsverfahren ein. Nach Beizug von Arztberichten sowie eines bidisziplinären Gutachtens des Psychiaters Dr. med. B._ und des Rheumatologen Dr. med. C._ vom 23./28. August 2012 gelangte sie zum Schluss, dass die ursprüngliche Invalidenrentenverfügung vom 5. Januar 1996 in Wiedererwägung zu ziehen sei. Mit Verfügung vom 23. Januar 2013 hob die IV-Stelle die Invalidenrente auf Ende Februar 2013 wiedererwägungsweise auf, weil die ursprüngliche Rentenzusprechung zweifellos unrichtig gewesen sei. B. A._ liess hiegegen Beschwerde führen mit dem Antrag, unter Aufhebung der angefochtenen Verfügung sei ihm weiterhin eine ganze Invalidenrente zu gewähren. Mit Entscheid vom 7. Januar 2014 wies das Versicherungsgericht des Kantons Aargau die Beschwerde ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt A._ beantragen, unter Aufhebung des vorinstanzlichen Entscheides sei ihm weiterhin eine ganze Invalidenrente zuzusprechen. Eventuell sei die Sache zu neuer Beurteilung an das kantonale Gericht zurückzuweisen. Ferner sei die IV-Stelle im Sinne einer vorsorglichen Massnahme zu verpflichten, ihm die Invalidenrente seit ihrer Aufhebung bis zur Entscheidung über die Beschwerde durch das Bundesgericht weiter auszurichten. Die IV-Stelle schliesst auf Abweisung der Beschwerde und des Gesuchs um vorsorgliche Massnahmen, während das Bundesamt für Sozialversicherungen auf eine Vernehmlassung verzichtet.