Sachverhalt: A. Der 1977 geborene A._ bezieht seit Juli 2007 eine Viertelsrente der Invalidenversicherung. Seit 1. Januar 2009 richtet ihm die Ausgleichskasse des Kantons Thurgau Ergänzungsleistungen zur Invalidenrente aus. Seit 12. Oktober 2009 arbeitete A._ zu 50 % im Unternehmen C._. Auf den 31. Oktober 2013 wurde er entlassen, wobei sich die Kündigungsfrist zufolge Unfalls des Versicherten um einen Monat bis 30. November 2013 verlängerte. Mit Verfügung vom 20. Oktober 2013 setzte die Ausgleichskasse die Ergänzungsleistung ab 1. November 2013 von zuvor Fr. 2'390.- auf neu Fr. 2'281.- im Monat herab, wobei sie ab diesem Zeitpunkt 70 % des bisherigen Nettolohnes als Einkommen anrechnete, weil A._ sich bei der Arbeitslosenkasse anmelden könnte. Am 21. Oktober 2013 eröffnete die Ausgleichskasse A._, dass sie bei der Berechnung der Ergänzungsleistung ab 1. Mai 2014 ein hypothetisches Erwerbseinkommen von Fr. 25'613.- im Jahr anrechnen werde. A._ erhob gegen diese Verfügung Einsprache. Mit einer weiteren Verfügung vom 20. Dezember 2013 setzte die Ausgleichskasse die Ergänzungsleistung ab 1. Januar 2014 auf Fr. 2'290.- im Monat fest. Auch hiergegen reichte A._ Einsprache ein. Mit Entscheid vom 4. März 2014 hiess die Ausgleichskasse die Einsprachen teilweise gut und setzte die monatlichen Ergänzungsleistungen neu auf Fr. 2'339.- (November 2013), Fr. 2'281.- (Dezember 2013) und Fr. 2'290.- (ab 1. Januar 2014) fest, wobei sie an der Anrechnung von Verzichtsvermögen bereits ab Dezember 2013 festhielt. B. A._ liess Beschwerde führen mit dem Antrag, unter Aufhebung der Einspracheentscheide sei die Ergänzungsleistung ohne Anrechnung von Leistungen der Arbeitslosenversicherung neu festzusetzen. Das Verwaltungsgericht des Kantons Thurgau hiess die Beschwerde teilweise gut und änderte den Einspracheentscheid dahin ab, dass es den EL-Anspruch von A._ vom 1. bis 31. Dezember 2013 auf Fr. 2'621.85 und vom 1. Januar bis 30. April 2014 auf monatlich Fr. 2'270.85 (zuzüglich der Prämienpauschalen für die Krankenversicherung von Fr. 360.-) festsetzte (Entscheid vom 23. April 2014). C. Die Ausgleichskasse führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Rechtsbegehren, der vorinstanzliche Entscheid sei aufzuheben. Während A._ auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen (BSV) auf eine Vernehmlassung.