Sachverhalt: A. Der 1956 geborene R._ ist Bezüger einer Invalidenrente. Er meldete sich am 26. Februar 2007 bei der Ausgleichskasse des Kantons Solothurn zum Bezug von Ergänzungsleistungen an. Mit Verfügung vom 17. September 2007 sprach die Ausgleichskasse dem Versicherten mit Wirkung ab 1. Januar 2007 Ergänzungsleistungen von monatlich Fr. 1'649.- zu. Mit Verfügung vom 27. Mail 2011 stellte die Ausgleichskasse fest, dass in der Berechnung das Einkommen der Ehefrau des Versicherten nicht berücksichtigt worden war, er dementsprechend in der Folge zu hohe Leistungen bezogen hatte und für die Zeit vom 1. Januar 2007 bis 31. Mai 2011 insgesamt Fr. 89'067.- zurückzuerstatten habe. Am 22. Juli 2011 reichte der Vertreter des Versicherten ein Erlassgesuch ein mit dem Begehren, es sei ihm die Rückforderung von Fr. 89'067.- zu erlassen. Mit Verfügung vom 29. August 2011 lehnte die Ausgleichskasse das Erlassgesuch ab mit der Begründung, der gute Glaube beim Bezug der zu Unrecht bezogenen Ergänzungsleistungen könne nicht bejaht werden. Dies bestätigte sie mit Einspracheentscheid vom 27. Oktober 2011. B. Die von R._ hiegegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Solothurn mit Entscheid vom 16. Oktober 2012 ab. C. R._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, der Rückforderungsbetrag von Fr. 89'067.- sei zu erlassen.