Sachverhalt:
A.
A.a. Die IV-Stelle des Kantons St. Gallen sprach dem 1960 geborenen K._ ab dem 1. Mai 2002 eine halbe, ab dem 1. Juli 2003 eine ganze und ab dem 1. Dezember 2003 eine Viertelsrente der Invalidenversicherung nebst Zusatzrenten für die Ehefrau und die Kinder zu bei einem Invaliditätsgrad von 50 resp. 100 resp. 43 % (Verfügungen vom 8. Februar, 20. Mai und 22. Juli 2005, bestätigt mit Einspracheentscheid vom 10. August 2005).
Die Sozialversicherungsanstalt des Kantons St. Gallen bejahte mit Verfügungen vom 22. Dezember 2005 einen Anspruch auf Ergänzungsleistungen (EL) ab 1. Juli 2003. Die vom Versicherten gegen die Berechnung der EL erhobene Einsprache wurde am 8. August 2006 teilweise gutgeheissen, wobei dem Versicherten ab dem 1. September 2005 - dem Ende des Bezuges von Leistungen der Arbeitslosenversicherung - ein hypothetisches Erwerbseinkommen angerechnet wurde; auf die Anrechnung eines hypothetischen Einkommens der Ehefrau wurde demgegenüber verzichtet. Der Einspracheentscheid vom 8. August 2006 wurde allerdings am 6. September 2006 wegen der rückwirkenden Auszahlung einer Rente der beruflichen Vorsorge widerrufen. Neue Verfügungen ergingen am 21. September 2006, mit welchen ab Dezember 2003 bis August 2006 - mit einem Unterbruch von November bis Dezember 2004 - Ergänzungsleistungen zugesprochen wurden, wobei wiederum dem Versicherten, nicht aber seiner Ehefrau ein hypothetisches Einkommen angerechnet wurde. Die dagegen erhobene Einsprache wurde am 12. März 2007 abgewiesen. Gegen diesen Entscheid erhob der Versicherte am 17. April 2007 Beschwerde beim Versicherungsgericht des Kantons St. Gallen.
A.b. Am 15. November 2007 verfügte die Sozialversicherungsanstalt die Herabsetzung der EL ab dem 1. Dezember 2007 zufolge Anrechnung eines hypothetischen Einkommens der Ehefrau des Versicherten. Die dagegen erhobene Einsprache wies sie mit Einspracheentscheid vom 19. Februar 2008 ab. Dagegen erhob der Versicherte am 3. April 2008 ebenfalls Beschwerde beim Versicherungsgericht.
A.c. Das Versicherungsgericht des Kantons St. Gallen hiess die Beschwerden vom 17. April 2007 und vom 3. April 2008 nach Vereinigung der Verfahren mit Entscheid vom 5. November 2008 teilweise gut und wies die Sache zur Abklärung und zur neuen Verfügung im Sinne der Erwägungen an die Sozialversicherungsanstalt zurück.
A.d. Mit Verfügung vom 23. Dezember 2008 setzte die Sozialversicherungsanstalt den Anspruch auf jährliche EL mit Wirkung ab dem 1. Januar 2009 auf Fr. 811.- pro Monat fest. Der Versicherte erhob dagegen Einsprache und reichte Nachweise über die Arbeitsbemühungen der Ehefrau ein. Am 3. September 2009 setzte die Sozialversicherungsanstalt die jährlichen EL mit Wirkung ab dem 1. September 2009 auf Fr. 598.- pro Monat fest, unter Vorbehalt des "Ausgangs der Revision 2008, sowie noch sämtlicher offener Abklärungen". Am 28. Dezember 2009 erhöhte sie die EL mit Wirkung ab dem 1. Januar 2010 auf monatlich Fr. 833.-. Am 28. Januar 2010 erhob der Versicherte Einsprache gegen die letztgenannte Verfügung. Für das Jahr 2011 verfügte die Sozialversicherungsanstalt am 29. Dezember 2010 EL von Fr. 903.- pro Monat.
A.e. Nachdem die Sozialversicherungsanstalt den Versicherten mit Schreiben vom 6. Juli 2011 darüber orientiert hatte, dass für ihn ab dem 1. September 2005 und für die Ehefrau ab Anspruchsbeginn ein hypothetisches Einkommen angerechnet würde, setzte sie mit Verfügung vom 29. September 2011 den Anspruch auf die jährlichen Ergänzungsleistungen für den Zeitraum vom 1. Mai 2002 bis zum 30. September 2011 neu fest, wobei sie auf eine Rückforderung zu viel ausbezahlter Leistungen verzichtete. Gleichzeitig verfügte sie die Einstellung der EL. Daran hielt sie mit Einspracheentscheid vom 26. März 2012 fest.
B.
Das Versicherungsgericht des Kantons St. Gallen hiess die dagegen erhobene Beschwerde des K._ mit Entscheid vom 12. November 2012 teilweise gut und sprach ihm eine Nachzahlung von Fr. 8'624.- im Sinne der Erwägung 6 zu.
C.
K._ lässt mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragen, der Entscheid vom 12. November 2012 sei aufzuheben, soweit er eine weitergehende Leistungspflicht der Sozialversicherungsanstalt verneint. Es seien ihm die gesetzlichen Ergänzungsleistungen (spezifiziert für die einzelnen Perioden) zuzüglich Verzugszinsen zuzusprechen und zu entrichten.

Erwägungen:
1.
1.1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat. Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (Art. 105 Abs. 1 und 2 BGG).
1.2. Die konkrete Beweiswürdigung ist wie die darauf beruhende Sachverhaltsfeststellung nur unter diesem eingeschränkten Blickwinkel überprüfbar (Urteile 9C_801/2008 vom 6. Januar 2009 E. 2.2; 9C_410/2008 vom 8. September 2008 E. 3.3.1). Demgegenüber ist die richtige Anwendung der Beweiswürdigungsregeln durch das kantonale Versicherungsgericht nach <ref-law> eine Rechtsfrage und als solche im Rahmen der den Parteien obliegenden Begründungs- bzw. Rügepflicht (<ref-law> und <ref-law>; <ref-ruling> E. 1.4.1 und 1.4.2 S. 254) frei zu prüfen (<ref-ruling> E. 3.2 und 4 S. 397 ff.; Urteil 9C_323/2009 vom 14. Juli 2009 E. 3).
1.3. Die Festsetzung des hypothetischen Einkommens im Rahmen der Bestimmung von Ergänzungsleistungen stellt, soweit sie auf der Würdigung konkreter Umstände beruht, eine Tatfrage dar, welche lediglich unter eingeschränktem Blickwinkel überprüfbar ist. Rechtsfrage ist dagegen, nach welchen Gesichtspunkten die Entscheidung über die Verwertbarkeit der Restarbeitsfähigkeit erfolgt.
2.
Streitig und zu prüfen ist einerseits, ob der Ehegattin des Beschwerdeführers die Aufnahme einer Erwerbstätigkeit ab Mai 2002 zumutbar gewesen wäre und deswegen bei der EL-Berechnung unter dem Titel des Verzichtseinkommens (Art. 11 Abs. 1 lit. g ELG [SR 831.30] resp. Art. 3c Abs. 1 lit. g des bis zum 31. Dezember 2007 geltenden aELG [AS 1997 2952]) ab dem genannten Zeitpunkt ein hypothetisches Einkommen anzurechnen war. Anderseits stellt sich die Frage der Anrechenbarkeit eines hypothetischen Erwerbseinkommens des Beschwerdeführers selber im Wesentlichen ab September 2005.
3.
3.1. Unter dem Titel des Verzichtseinkommens (Art. 11 Abs. 1 lit. g ELG resp. Art. 3c Abs. 1 lit. g aELG) ist ein hypothetisches Einkommen der Ehegattin eines Ergänzungsleistungs-Ansprechers anzurechnen (vgl. Art. 9 Abs. 2 ELG resp. Art. 3a Abs. 4 aELG), sofern diese auf eine zumutbare Erwerbstätigkeit oder deren zumutbare Ausdehnung verzichtet (<ref-ruling> E. 3b S. 291 f.; AHI 2001 S. 133, P 18/99 E. 1b). Ob und allenfalls in welchem Umfang eine Erwerbstätigkeit zugemutet werden kann, ist stets im konkreten Einzelfall zu prüfen, unter Berücksichtigung familienrechtlicher, namentlich im Bereich des nachehelichen Unterhalts geltender Grundsätze (<ref-ruling> E. 3c S. 292). Abzustellen ist somit auf das Alter, den Gesundheitszustand, die Sprachkenntnisse, die Ausbildung, die bisherige Tätigkeit, die konkrete Arbeitsmarktlage sowie gegebenenfalls auf die Dauer der Abwesenheit vom Berufsleben (<ref-ruling> E. 4.1 S. 61 mit Hinweisen; Urteil 9C_916/2011 vom 3. Februar 2012; E.1.3). Bemüht sich die Ehegattin trotz zumutbarerweise verwertbarer (teilweiser) Arbeitsfähigkeit nicht um eine Stelle, verletzt sie dadurch die ihr obliegende Schadenminderungspflicht (Urteil 9C_539/2009 vom 9. Februar 2009 E. 4.1; Urteil 8C_589/2007 vom 14. April 2008 E. 6.1 und 6.2).
3.2. Das kantonale Gericht hat - für das Bundesgericht grundsätzlich verbindlich (E. 1.1) - festgestellt, dass sich die Ehefrau des Beschwerdeführers in ungenügender Weise um eine Arbeitsstelle bemüht habe. Auch die allgemeinen Ausführungen des Leiters des RAV zur schwierigen Wirtschafts- und Arbeitsmarktlage insbesondere für Frauen würden nicht bedeuten, dass sie bei nachgewiesenen Arbeitsbemühungen keine Arbeitsstelle gefunden hätte. Folglich hielt es die Anrechnung eines hypothetischen Erwerbseinkommens der Ehefrau für rechtens.
3.3.
3.3.1. Vorerst ist auf den Vorhalt des Beschwerdeführers einzugehen, die Sozialversicherungsanstalt habe den ihr im Rückweisungsentscheid des kantonalen Gerichts vom 5. November 2008 auferlegten Abklärungsauftrag nur ungenügend umgesetzt. Der Verwaltung ist im Rahmen der Abklärungspflicht (<ref-law>) ein weites Ermessen hinsichtlich angeordneter Abklärungsmassnahmen einzuräumen (<ref-ruling> E. 5.2.8 S. 105), in das sich ein gerichtliches Eingreifen nur rechtfertigt, wenn die Behörde ihr Ermessen offensichtlich überschritten hat (Urteile 9C_548/2010 vom 10. August 2010 E. 2.1, 9C_24/2010 vom 21. März 2010 E. 2, 9C_825/2008 vom 6. November 2008 E. 4.3). Die instruierende Behörde hat sich jedoch an die Vorgaben in einem Rückweisungsentscheid eines Gerichtes zu halten (erwähntes Urteil 9C_548/2010 E. 4.1, Urteil 9C_522/2007 vom 17. Juni 2008 E. 3.3.1). Allerdings ist es zulässig, von Weisungen in einem Rückweisungsentscheid abzuweichen, falls Ergebnisse einer zufolge eines Rückweisungsurteils angeordneten Untersuchung weitere Abklärungen als überflüssig erscheinen lassen (erwähntes Urteil 9C_522/2007 E. 3.3.1). Unter diesem Aspekt ist ein Ermessen der Verwaltung zu bejahen. Im nachfolgenden gerichtlichen Verfahren ist unter freier Würdigung der Beweise zu prüfen, ob die Verwaltung auf die zusätzlich angeordneten Abklärungen verzichten durfte.
3.3.2. Das kantonale Gericht hielt in seinem Rückweisungsentscheid vom 5. November 2008 fest, die Verwaltung habe ungenügend abgeklärt, ob sich die Ehefrau des Beschwerdeführers in der Zeit bis zum Erlass des Einspracheentscheides vom 12. März 2007 ausreichend um Arbeit bemüht habe. Der Entscheid, kein hypothetisches Erwerbseinkommen anzurechnen, habe sich ausschliesslich auf eine telefonische Auskunft des Regionalen Arbeitsvermittlungszentrums (RAV) gestützt, wonach die Ehefrau die Anforderungen erfülle, aber kaum eine Chance habe, eine Arbeitsstelle zu finden. Dies erachtete es als ungenügende Grundlage, weshalb es die Sache zu weiteren Abklärungen an die Verwaltung zurückwies.
In der Folge rechnete die Sozialversicherungsanstalt in der Verfügung vom 29. September 2011 ein hypothetisches Erwerbseinkommen der Ehefrau seit Beginn des EL-Bezuges an. Dem Einspracheentscheid vom 26. März 2012 ist dazu zu entnehmen, dass nach der Rückweisung durch das Versicherungsgericht keine zusätzlichen Unterlagen eingereicht worden seien, welche ernsthafte Bemühungen der Ehefrau um den Erwerb von Sprachkenntnissen oder eine intensive Stellensuche belegten. Somit habe sie seit Anspruchsbeginn im Mai 2002 auf die Erzielung eines Erwerbseinkommens verzichtet. In diesem Zusammenhang verwies die Sozialversicherungsanstalt auf eine Erwägung im vorgenannten Rückweisungsentscheid, wonach die Ehefrau des Beschwerdeführers möglicherweise schon 2001 und 2002 nicht habe Deutsch lernen und damit ihre Chancen auf dem Arbeitsmarkt verbessern wollen. Weitere Abklärungen tätigte die Beschwerdegegnerin offenbar nicht; solche waren aber auch nicht nötig, wie nachfolgend aufgezeigt wird.
3.4. Die Annahme der Verwaltung und des kantonalen Gerichts, die Ehefrau des Beschwerdeführers sei nicht in genügendem Masse willens und bereit gewesen, eine Erwerbstätigkeit aufzunehmen, ist angesichts der Akten nicht offensichtlich unrichtig (E. 1.1). Es fällt in der Tat auf, dass sich die Ehefrau bei Firmen, die keine offenen Stellen anboten, um eine Arbeitsstelle bemühte. Daraus folgt zwar nicht zwangsläufig, dass seit Beginn des EL-Bezuges ein hypothetisches Erwerbseinkommen der Ehefrau anzurechnen wäre. Solange ihr nämlich aus objektiver Sicht eine (weitergehende) Erwerbstätigkeit nicht zumutbar war, ist auch kein hypothetisches Erwerbseinkommen zu berücksichtigen. Eine solche Konstellation ist hier aber nicht gegeben: Es sind keine familiären oder sozialen Umstände ersichtlich, welche einer Erwerbstätigkeit der Ehegattin im Wege gestanden hätten. Die Kinder sind in den Jahren 1984 bis 1991 geboren und waren ab 2002 nicht mehr auf dauernde Betreuung durch die Mutter angewiesen, zumal auch der Versicherte zu Hause weilte und Betreuungs- und Haushaltsarbeiten übernehmen konnte. Dass es möglich war, eine Erwerbstätigkeit zu organisieren, zeigte die Ehefrau des Beschwerdeführers dadurch, dass sie in den Jahren 2003, 2004 und 2005, wenn auch in einem kleinen Pensum, als Reinigungsangestellte arbeitete. Danach ging sie offenbar keiner Erwerbstätigkeit mehr nach, obwohl ihr deren Fortführung und Ausdehnung zumutbar und möglich gewesen wäre.
3.5.
3.5.1. Zu prüfen bleibt, ob der Versicherte und seine Ehefrau aufgrund des Vorgehens und des Verhaltens der Beschwerdegegnerin dazu veranlasst wurden, von einer Erwerbstätigkeit abzusehen bzw. sich nicht intensiv darum zu bemühen. In den Einspracheentscheiden vom 8. August 2006 und vom 12. März 2007 wurde festgehalten, dass die Ehefrau des Versicherten den Anforderungen des RAV stets nachgekommen und die Situation auf dem Arbeitsmarkt schwierig sei, weshalb auf die Anrechnung eines hypothetischen Erwerbseinkommens für die Ehefrau vorläufig verzichtet, eine Neubeurteilung in wenigen Monaten aber vorbehalten werde. Am 15. November 2007 wurde dann die Anrechnung eines hypothetischen Einkommens der Ehefrau ab 1. Dezember 2007 verfügt und im Einspracheentscheid vom 19. Februar 2008 damit begründet, dass ihre drei noch zu Hause lebenden Kinder mittlerweile 19-, 17- und 16-jährig und damit selbstständig seien, weshalb sie im Haushalt mithelfen könnten. Diese Begründung macht deutlich, dass die Anrechnung pro futuro, nämlich ab 1. Dezember 2007, vorgenommen werden sollte, eine rückwirkende Anrechnung stand nicht zur Diskussion. Im Entscheid vom 5. November 2008 hielt das kantonale Gericht dazu fest, die Sozialversicherungsanstalt sei offenbar davon ausgegangen, die Ehefrau des Versicherten habe sich bis dahin quantitativ und qualitativ ausreichend beworben.
3.5.2. Die rückwirkende Anrechnung des hypothetischen Einkommens stellte die Sozialversicherungsanstalt erstmals mit Schreiben vom 6. Juli 2011 in Aussicht, in welchem sie feststellte, es habe im Jahre 2001 schweizweit am wenigsten Arbeitslose gegeben, weshalb es der Ehegattin zumutbar gewesen wäre, wenige Monate nach der Arbeitsunfähigkeit ihres Ehemannes eine Stelle zu suchen. Diese Feststellung steht im Gegensatz zu früheren Entscheiden der Beschwerdegegnerin, in denen sie die Zumutbarkeit einer (weitergehenden) Erwerbstätigkeit verneinte. Die entsprechenden Verfügungen und Einspracheentscheide sind allerdings nicht in Rechtskraft erwachsen. Unter diesen Umständen war es der Sozialversicherungsanstalt nicht verwehrt, auf ihre frühere Einschätzung zurückzukommen und sich die vom kantonalen Gericht als Möglichkeit angetönte Auffassung, die Arbeitsbemühungen der Ehefrau seien von Anfang an ungenügend gewesen, zu eigen zu machen. Somit erübrigte sich auch die Prüfung der Frage, ob eine massgebliche Veränderung der Verhältnisse eingetreten war, welche eine Revision gerechtfertigt hätte (vgl. <ref-law> [SR 830.1] in Verbindung mit Art. 1 Abs. 1 ELG).
Hinsichtlich der Anrechnung eines Erwerbseinkommens der Ehefrau erscheint ein Zurückkommen auf die früheren Entscheide allerdings dann als fraglich, wenn der Versicherte bzw. dessen Ehegattin im Vertrauen auf die entsprechenden Begründungen auf weitere Arbeitsbemühungen verzichtet hätten (vgl. <ref-law>; <ref-ruling> E. 6.1 S. 636; <ref-ruling> E. 5 S. 480 f.). Im konkreten Fall fehlt es indessen bereits an einem kausalen Zusammenhang zwischen den Entscheidbegründungen, mit denen für die Vergangenheit genügende Arbeitsbemühungen bestätigt wurden, und dem Verhalten des Versicherten bzw. dessen Ehegattin. Insbesondere wurde in den Entscheiden gleichzeitig darauf hingewiesen, dass eine Neubeurteilung in wenigen Monaten vorbehalten werde. Der Beschwerdeführer bzw. dessen Ehegattin hätten sich also veranlasst sehen müssen, Arbeitsbemühungen aufzunehmen bzw. zu verstärken; sie konnten nicht im Vertrauen darauf, dass sie in der Vergangenheit als genügend angesehen wurden, von weiteren und verstärkten Arbeitsbemühungen absehen. Das kantonale Gericht hat deshalb die Anrechnung eines hypothetischen Einkommens der Ehefrau zu Recht bejaht.
4.
4.1. Invaliden wird als Erwerbseinkommen grundsätzlich der Betrag angerechnet, den sie im massgebenden Zeitabschnitt tatsächlich verdient haben (Art. 14a Abs. 1 ELV [SR 831.301] in Verbindung mit Art. 9 Abs. 5 lit. c ELG resp. Art. 3a Abs. 7 lit. c aELG). Teilinvaliden unter 60 Jahren mit einem Invaliditätsgrad von 50 bis unter 60 % ist als Erwerbseinkommen jedoch mindestens der Höchstbetrag für den Lebensbedarf von Alleinstehenden nach Art. 10 Abs. 1 lit. a Ziff. 1 ELG resp. Art. 3b Abs. 1 lit. a aELG anzurechnen; bei einem Invaliditätsgrad von 40 bis unter 50 % erhöht sich der Minimalbetrag um einen Drittel (Art. 14a Abs. 2 lit. a und b ELV in der aktuellen resp. bis 31. Januar 2007 geltenden Fassung).
Damit wird bei Nichterreichen dieses Grenzbetrages die Vermutung eines freiwilligen Verzichts auf Erwerbseinkünfte (vgl. Art. 11 Abs. 1 lit. g ELG resp. Art. 3c Abs. 1 lit. g aELG) statuiert. Diese kann widerlegt werden, wenn invaliditätsfremde Gründe wie Alter, mangelhafte Ausbildung und Sprachkenntnisse, persönliche Umstände oder Arbeitsmarktsituation die Verwertung der Resterwerbsfähigkeit erschweren oder verunmöglichen. Massgebend für die Berechnung der Ergänzungsleistungen ist daher das hypothetische Einkommen, das der Versicherte tatsächlich realisieren könnte (<ref-ruling> E. 5.2 S. 661 f.; <ref-ruling> E. 2a/b S. 204 f.; <ref-ruling> E. 2b/c S. 155 f). Mit Bezug auf die invaliditätsbedingte Beeinträchtigung der Erwerbsfähigkeit haben sich EL-Organe und Sozialversicherungsgerichte grundsätzlich an die Invaliditätsbemessung durch die Invalidenversicherung zu halten (BGE <ref-ruling> E. 2b S. 205; Urteile 9C_830/2011 vom 12. April 2012 E.2.1; 8C_172/2007 vom 6. Februar 2008 E. 7.1).
4.2. Ein hypothetisches Erwerbseinkommen wurde dem Versicherten erstmalig zwischen Mai und September 2002 angerechnet, angesichts eines Invaliditätsgrades von 50 % wurde für die damalige Zeitperiode der einfache Höchstbetrag für den Lebensbedarf von Alleinstehenden berücksichtigt (E. 4.1). Die Anrechnung für den damaligen (kurzen) Zeitraum wird im bundesgerichtlichen Verfahren nicht mehr gerügt und aus den Akten ergeben sich keine Anhaltspunkte, die dagegen sprechen. Seit dem 1. Dezember 2003 bezieht der Versicherte eine Viertelsrente der Invalidenversicherung und ein entsprechendes hypothetisches Erwerbseinkommen wird ihm ab dem Zeitpunkt, als sein Leistungsanspruch gegenüber der Arbeitslosenversicherung erschöpft war, mithin ab dem 1. September 2005 angerechnet. Bei der ursprünglichen Festlegung und der späteren Bestätigung der Viertelsrente ging die IV-Stelle davon aus, dass dem Versicherten eine angepasste Tätigkeit zu 70 % zumutbar sei. Damit ist aus medizinischer Sicht eine grundsätzlich verwertbare Restarbeitsfähigkeit ausgewiesen.
4.3. Strittig ist im Wesentlichen, ob sich der Versicherte genügend um Arbeit bemühte und damit seiner Schadensminderungspflicht nachkam. Das kantonale Gericht ging in seinem Rückweisungsentscheid vom 5. November 2008 davon aus, dies treffe bis Ende August 2005 zu, ansonsten die Anspruchsberechtigung für Taggelder der Arbeitslosenversicherung (wieder) eingestellt worden wäre. Hingegen seien die in den Folgemonaten von September 2005 bis April 2006 gegenüber den EL-Organen ausgewiesenen Bewerbungen in quantitativer und qualitativer Hinsicht mangelhaft gewesen. Die Arbeitsbemühungen seien allerdings hinreichend, wenn das RAV als zuständiges Organ der Arbeitslosenversicherung zuvor derartige Bewerbungen akzeptiert haben sollte. Das kantonale Gericht wies die Sache zur entsprechenden Abklärung an die Verwaltung zurück. Die in der Folge eingeholten Auskünfte ergaben, dass beim RAV über die Arbeitsbemühungen des Beschwerdeführers im Jahr 2005 oder früher keine Unterlagen mehr vorhanden waren. Nach Auffassung des kantonalen Gerichts im angefochtenen Entscheid ist damit nicht bewiesen, dass das RAV die an sich ungenügenden Arbeitsbemühungen akzeptierte. Die Folgen dieser Beweislosigkeit habe aber der Versicherte als Anspruchssteller zu tragen. Es sei deshalb davon auszugehen, dass er sich nur ungenügend um Arbeit bemüht habe und folglich die Anrechnung eines hypothetischen Erwerbseinkommens rechtens sei.
4.4. Die vom kantonalen Gericht vorgenommene Beweiswürdigung und Beweislastverteilung ist nicht zu beanstanden. Die Feststellungen, dass die aktenkundigen Arbeitsbemühungen in quantitativer und vor allem qualitativer Hinsicht nicht genügten und zudem nicht erstellt sei, dass der Beschwerdeführer sich nach Ablauf der arbeitslosenrechtlichen Rahmenfrist weiterhin im gleichen Umfang um Arbeit bemüht habe, sind nicht offensichtlich unrichtig resp. willkürlich; sie bleiben für das Bundesgericht verbindlich (E. 1.1). Damit trifft auch die daraus geschlossene Folgerung zu, wonach sich der Versicherte nicht darauf verlassen durfte, dass seine Arbeitsbemühungen als ausreichend betrachtet würden. Soweit er dagegen in genereller Hinsicht einwendet, der Arbeitsmarkt lasse die Vermittlung eines teilinvaliden, 46-jährigen Mannes ohne besondere Ausbildung nicht zu, kann ihm nicht beigepflichtet werden. Alter, Ausbildung und gesundheitliche Einschränkung sind nicht derart, dass sie dem Finden einer Arbeitsstelle von vornherein entgegenstehen. Aufgrund der gesetzlich statuierten Vermutung von Art. 14a Abs. 2 ELV kann - unter Vorbehalt von <ref-law>, der hier nicht zur Anwendung gelangt - eine fehlende Verwertbarkeit der Restarbeitsfähigkeit nur angenommen werden, wenn sie in concreto mit überwiegender Wahrscheinlichkeit feststeht. Dies ist hier nicht der Fall.
5.
Die konkrete Berechnung der Ergänzungsleistungen, namentlich in Bezug auf die anrechenbaren Einnahmen und die anerkannten Ausgaben (Art. 9 Abs. 1, Art. 10 und 11 ELG), ist ansonsten nicht streitig, weshalb es beim Gesagten sein Bewenden hat.
6.
Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 19. November 2013
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kernen
Die Gerichtsschreiberin: Dormann