Sachverhalt: A. A.a K._, geboren 2. Juli 1942, meldete sich am 29. August 2007 zum Bezug von Ergänzungsleistungen bei der Sozialversicherungsanstalt Graubünden (SVA GR) an. Dabei erklärte er, weder er noch seine Ehefrau seien erwerbstätig. Mit Verfügung vom 12. Oktober 2007 sprach die SVA GR K._ mit Wirkung ab 1. August 2007 Ergänzungsleistungen von monatlich Fr. 1'199.- zu. Am 8. November 2007 teilte K._ der SVA GR mit, weiterhin Selbstständigerwerbender zu sein und am 11. Dezember 2007 gingen bei der SVA GR die AHV-Meldungen der Steuerverwaltung des Kantons Graubünden für Selbstständigerwerbende betreffend die Jahre 2005 und 2006 ein. Die SVA GR forderte hienach von K._ mit Nachtragsverfügungen vom 20. Dezember 2007 AHV-Beiträge für die Jahre 2005 und 2006, welcher am 28. Februar 2008 bekannt gab, sein Geschäft per 1. Januar 2008 seinem Sohn X._ übergeben zu haben. Den Geschäftsabschluss 2007 unterbreitete er der SVA GR am 24. November 2008, worauf die Verwaltung am 16. Januar 2009 verfügungsweise von K._ für die Zeit vom 1. August bis 31. Dezember 2007 zu viel ausgerichtete Ergänzungsleistungen im Betrag von Fr. 6'004.- zurückforderte. A.b A._, geboren 5. Mai 1945, Ehefrau des K._, bezog zu ihrer Invalidenrente spätestens seit 1. Januar 2005 Ergänzungsleistungen. Da die Verwaltung ihr in den EL-Berechnungen zum Teil erheblich tiefere und zum Teil keine der von K._, erzielten Erwerbseinkommen angerechnet hatte und überdies durch den Auszug ihres Sohnes aus der elterlichen Wohnung eine Anpassung des anzurechnenden Mietzinsaufwands nötig geworden war, berechnete die SVA GR die Ergänzungsleistungen rückwirkend ab 1. Januar 2005 neu. Daraufhin forderte die SVA GR gegenüber A._ vom 1. Januar 2005 bis 31. Juli 2007 ausbezahlte Ergänzungsleistungen im Betrag von Fr. 14'387.- zurück (Verfügung vom 16. Januar 2009). A.c Gegen die Verfügungen vom 16. Januar 2009 erhoben K._ und A._ am 10. Februar/13. März 2009 Einsprache, welche die SVA GR am 5. Mai 2009 abwies. B. K._ und A._ reichten am 2. Juni 2009 Beschwerde mit dem Rechtsbegehren ein, der Einspracheentscheid vom 5. Mai 2009 und die Verfügung vom 16. Januar 2009 seien hinsichtlich der für den Zeitraum vom 1. Januar 2005 bis 31. Dezember 2006 zurückgeforderten Ergänzungsleistungen aufzuheben, und es sei festzustellen, dass in diesem Umfang keine Rückerstattungspflicht bestehe. Das Verwaltungsgericht des Kantons Graubünden wies die Beschwerde mit Entscheid vom 1. September 2009 ab. C. K._ (Beschwerdeführer 1) und A._ (Beschwerdeführerin 2) lassen gegen den Entscheid des Verwaltungsgerichtes des Kantons Graubünden Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, der vorinstanzliche Entscheid sei aufzuheben, und es sei festzustellen, dass der Rückforderungsanspruch für die Zeit vom 1. Januar 2005 bis 31. Dezember 2006 erloschen sei. Die SVA GR und das Verwaltungsgericht des Kantons Graubünden schliessen auf Abweisung der Beschwerde, währenddem sich das Bundesamt für Sozialversicherungen (BSV) nicht vernehmen lässt.