Sachverhalt:
A.
Der 1962 geborene türkische Staatsangehörige A._ reiste 1984 in die Schweiz ein. Er ist verheiratet und Vater von vier Kindern (geboren 1981, 1983, 1992 und 2000); die Ehefrau und die Kinder wohnen in der Türkei. Seit 1. Februar 1996 bezieht er eine ganze resp. seit 1. Januar 2005 eine Dreiviertelsrente der Invalidenversicherung. Die AHV-Ausgleichskasse richtete ihm seit 1. September 2005 Ergänzungsleistungen zur Invalidenrente aus. Nach Abklärungen im Rahmen eines Revisionsverfahrens kam sie zum Schluss, im Jahr 2013 habe A._ 167 Tage in der Türkei verbracht, weshalb die Karenzfrist unterbrochen worden sei; zudem sei auch das Erfordernis des Wohnsitzes und gewöhnlichen Aufenthalts nicht erfüllt. Folglich verneinte sie mit Verfügung vom 23. April 2014 den Anspruch auf Ergänzungsleistungen rückwirkend ab 1. Januar 2013; gleichzeitig forderte sie zu Unrecht bezogene Ergänzungsleistungen im Betrag von Fr. 8'448.- zurück. Daran hielt sie mit Einspracheentscheid vom 20. Juni 2014 fest.
B.
Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Graubünden mit Entscheid vom 25. November 2014 ab.
C.
A._ lässt mit Beschwerde in öffentlich-rechtlichen Angelegenheiten die Aufhebung des Entscheids vom 25. November 2014 beantragen. Ferner ersucht er um unentgeltliche Rechtspflege. Zudem verlangt er mittels "Beweisantrag" die Einholung eines psychiatrischen Gutachtens.
Die AHV-Ausgleichskasse des Kantons Graubünden schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen (BSV) verzichtet auf eine Vernehmlassung.

Erwägungen:
1.
Auf den Beweisantrag, der sich auf das bundesgerichtliche Verfahren bezieht (vgl. MEYER/DORMANN, in: Basler Kommentar, Bundesgerichtsgesetz, 2. Aufl. 2011, N. 7 zu <ref-law>), ist nicht einzutreten: Es wird nicht dargelegt und ist auch nicht ersichtlich, inwiefern erst der angefochtene Entscheid zu einem psychiatrischen Gutachten Anlass gegeben haben soll (vgl. <ref-law>). Zudem stellt das Bundesgericht - anders als das kantonale Gericht (vgl. <ref-law>) - den Sachverhalt in der Regel nicht selber fest: Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>) und kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (<ref-law>).
2.
2.1. Personen mit Wohnsitz und gewöhnlichem Aufenthalt (<ref-law>) in der Schweiz, die Anspruch haben auf eine Rente oder eine Hilflosenentschädigung der Invalidenversicherung (IV), haben - sofern die weiteren Anspruchsvoraussetzungen (vgl. insbesondere Art. 9 und 14 ELG [SR 831.30]) erfüllt sind - Anspruch auf Ergänzungsleistungen (Art. 4 Abs. 1 lit. c ELG). Ausländerinnen und Ausländern wird eine Karenzfrist auferlegt in dem Sinne, als sie sich unmittelbar vor dem Zeitpunkt, ab dem die Ergänzungsleistung verlangt wird, während zehn Jahren ununterbrochen in der Schweiz aufgehalten haben müssen (Art. 5 Abs. 1 ELG). Für Flüchtlinge und staatenlose Personen beträgt die Karenzfrist fünf Jahre (Art. 5 Abs. 2 ELG). Ausländerinnen und Ausländern, die gestützt auf ein Sozialversicherungsabkommen Anspruch auf ausserordentliche Renten der AHV oder IV hätten, steht, solange sie die Karenzfrist nach Absatz 1 nicht erfüllt haben, eine Ergänzungsleistung höchstens in der Höhe des Mindestbetrages der entsprechenden ordentlichen Vollrente zu (Art. 5 Abs. 3 ELG).
Türkische Staatsangehörige haben unter den gleichen Voraussetzungen wie Schweizerbürger Anspruch auf die ausserordentlichen Renten der schweizerischen Alters-, Hinterlassenen- und Invalidenversicherung, solange sie in der Schweiz Wohnsitz haben und sofern sie unmittelbar vor dem Zeitpunkt, von welchem an die Rente verlangt wird, im Falle u.a. einer Invalidenrente ununterbrochen während mindestens fünf Jahren in der Schweiz gewohnt haben (Art. 11 in Verbindung mit Art. 1 Abs. 2 des Abkommens vom 1. Mai 1969 zwischen der Schweiz und der Republik Türkei über soziale Sicherheit [nachfolgend: Abkommen; SR 0.831.109.763.1]). Türkische Staatsangehörige mit Wohnsitz in der Schweiz, welche die Schweiz nicht länger als gesamthaft drei Monate je Kalenderjahr verlassen, unterbrechen ihre Wohndauer in der Schweiz im Sinne von Artikel 11 des Abkommens nicht (Ziff. 6 des Schlussprotokolls zum Abkommen).
2.2. Der Anspruch auf eine jährliche Ergänzungsleistung besteht ab Beginn des Monats, in dem die Anmeldung eingereicht worden ist, sofern sämtliche gesetzlichen Voraussetzungen erfüllt sind (Art. 12 Abs. 1 ELG). Der Anspruch erlischt am Ende des Monats, in dem eine der Voraussetzungen dahingefallen ist (Art. 12 Abs. 3 ELG).
3.
3.1. Die Vorinstanz hat zutreffend dargelegt, dass während der Karenzfrist gemäss Art. 5 Abs. 1 ELG resp. Art. 11 Abkommen ein "ununterbrochener Aufenthalt" resp. "ununterbrochenes Wohnen" erforderlich ist, und dass sich die Auslegung dieser Begriffe in concreto an Ziff. 6 des Schlussprotokolls zum Abkommen orientiert, während sich jene des "Wohnsitzes und gewöhnlichen Aufenthalts" gemäss Art. 4 Abs. 1 ELG nach <ref-law> richtet. Weiter hat sie verbindlich (E. 1) festgestellt, der Versicherte habe sich 2013 an insgesamt 167 Tagen (davon 24 im März, 30 im April, 29 im Mai, 16 im August, 30 im September, 31 im Oktober und 7 im November) nicht in der Schweiz aufgehalten, ohne dass es dafür einen triftigen Grund gegeben habe.
3.2. Sodann hat das kantonale Gericht aus der insgesamt 167-tägigen Abwesenheit den rechtlichen Schluss gezogen, die (fünfjährige) Karenzfrist sei Ende Dezember 2012 nicht mehr erfüllt gewesen, weshalb der Anspruch auf Ergänzungsleistungen zu diesem Zeitpunkt erloschen sei. Folglich hat es die rückwirkende Aufhebung des Anspruchs und die entsprechende Rückforderung bestätigt.
3.3. Ob als zeitlicher Aspekt zu berücksichtigen ist, dass die Landesabwesenheit von insgesamt mindestens 92 Tagen (Ziff. 6 des Schlussprotokolls zum Abkommen; vgl auch Rz. 2440.02 der Wegleitung des BSV über die Ergänzungsleistungen zur AHV und IV [WEL; http://www.bsv.admin.ch/vollzug/documents/view/1638/lang:deu/category:59]) nicht bereits Ende Dezember 2012, sondern erst im August 2013 erreicht wurde (vgl. E. 2.2), braucht hier nicht beantwortet zu werden.
Dem vorinstanzlichen Standpunkt kann schon in grundsätzlicher Hinsicht nicht beigepflichtet werden: Nach dem klaren Wortlaut der massgeblichen Bestimmungen (E. 2.1; ebenso in der französischen und italienischen Fassung) ist die Karenzfrist unmittelbar vor Anspruchsbeginn zu erfüllen. Sie ist denn auch nur Kriterium für die Entstehung des Anspruchs und als solches nicht geeignet, eine bereits bestehende Bezugsberechtigung erlöschen zu lassen (vgl. Urteil P 23/00 vom 26. Juli 2001 E. 6). Da der Beschwerdeführer seit September 2005 ununterbrochen Ergänzungsleistungen bezieht, ist die Karenzfrist hier nicht von Belang. Deren Berücksichtigung im konkreten Fall verletzt Bundesrecht; in diesem Sinn ist die Beschwerde offensichtlich begründet (vgl. <ref-law>).
Daran ändert nichts, dass in Rz. 2330.01 WEL ebenfalls eine Frist von drei Monaten resp. 92 Tagen erwähnt wird: Die entsprechende Weisung konkretisiert den Begriff des "gewöhnlichen Aufenthalts" (Art. 4 Abs. 1 ELG) und bezieht sich auf den Fall, dass eine Person länger als 92 Tage am Stück (d'une traite, di fila) landesabwesend ist, was hier nicht zutrifft (E. 3.1).
3.4. Mit der beantragten Aufhebung des angefochtenen Entscheids allein hat es indessen nicht sein Bewenden. Angesichts des Auslandaufenthalts des Beschwerdeführers und der Begründung der AHV-Ausgleichskasse in ihrer Verfügung vom 23. April 2014 ist die Sache an die Vorinstanz zurückzuweisen, damit sie Feststellungen in Bezug auf den Wohnsitz und gewöhnlichen Aufenthalt im Jahr 2013 treffe und über ein allfälliges Erlöschen des Anspruchs (E. 2.2) neu entscheide.
4.
Dem Ausgang des Verfahrens entsprechend hat die Beschwerdegegnerin die Gerichtskosten zu tragen (<ref-law>). Der Beschwerdeführer hat Anspruch auf eine Parteientschädigung (Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen und der Entscheid des Verwaltungsgerichts des Kantons Graubünden vom 25. November 2014 aufgehoben. Die Sache wird zu neuer Entscheidung an die Vorinstanz zurückgewiesen. Im Übrigen wird die Beschwerde abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt.
3.
Die Beschwerdegegnerin hat den Rechtsvertreter des Beschwerdeführers für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Graubünden, Kammer 2 als Versicherungsgericht, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 10. August 2015
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Glanzmann
Die Gerichtsschreiberin: Dormann