Sachverhalt:
A.
A.a. Der 1976 geborene A._ bezieht seit Juni 2018 Ergänzungsleistungen zu seiner Invalidenrente. Die Ausgleichskasse des Kantons Thurgau teilte ihm mit Schreiben vom 31. Oktober 2018 mit, sie beabsichtige ab Februar 2019 für seine Ehefrau ein hypothetisches Einkommen anzurechnen. Mit Verfügung vom 12. Dezember 2018 sprach sie dem Versicherten ab 1. Februar 2019 monatliche Ergänzungsleistungen von Fr. 1206.- (ohne Abzug Pauschalbeträge für die Krankenkasse) zu, wobei sie wie angekündigt für die Ehefrau ein hypothetisches Einkommen von Fr. 24'222.- berücksichtigte.
A.b. Die von A._ hiegegen erhobene Einsprache hiess die Ausgleichskasse mit Entscheid vom 23. Mai 2019 teilweise gut und legte die Ergänzungsleistungen ab 1. Februar 2019 neu auf monatlich Fr. 1368.- fest (inklusive Prämienpauschale Krankenversicherung). Dabei wurden neu auch Kosten für die externe Kinderbetreuung als Ausgaben angerechnet.
A.c. Mit Verfügung vom 10. Juni 2019 berechnete die Ausgleichskasse die Ergänzungsleistungen für die Zeit ab Mai 2019 neu, wobei sie kein Verzichtseinkommen mehr berücksichtigte.
B.
Die von A._ gegen den Einspracheentscheid vom 23. Mai 2019 eingereichte Beschwerde wies das Verwaltungsgericht des Kantons Thurgau mit Entscheid vom 20. November 2019 ab.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt A._ beantragen, der angefochtene Entscheid sei aufzuheben; es sei festzustellen, dass die Berechnung der Ergänzungsleistungen für den Zeitraum vom 1. Februar 2019 bis 30. April 2019 ohne Anrechnung eines hypothetischen Einkommens zu erfolgen habe und es seien ihm ab 1. Februar 2019 Ergänzungsleistungen in der Höhe von Fr. 1863.- zuzüglich Prämienpauschale für die Krankenversicherung in der Höhe von Fr. 855.- auszurichten; eventuell sei die Sache zu neuer Abklärung des Sachverhalts beziehungsweise Berechnung der Ergänzungsleistungen an die Vorinstanz zurückzuweisen; zudem beantragt er die Gewährung der unentgeltlichen Rechtspflege.
Die Ausgleichskasse schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Erwägungen:
1.
1.1. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (<ref-ruling> E. 1.2 S. 252 mit Hinweisen). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann deren Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (<ref-law>).
1.2. Das Vorbringen von Tatsachen, die sich erst nach dem angefochtenen Entscheid ereigneten oder entstanden, ist vor Bundesgericht unzulässig (<ref-law>; <ref-ruling> E. 1.2 S. 23 mit Hinweisen). Das vom Beschwerdeführer im bundesgerichtlichen Verfahren eingereichte Arztzeugnis datiert vom 24. Januar 2020 und bleibt somit als echtes Novum unbeachtlich.
2.
2.1. Streitig ist die Höhe des Anspruchs auf Ergänzungsleistungen im Zeitraum vom 1. Februar bis 30. April 2019.
2.2. Nach Art. 9 Abs. 1 ELG entspricht die jährliche Ergänzungsleistung dem Betrag, um den die anerkannten Ausgaben die anrechenbaren Einnahmen übersteigen. Gemäss Art. 9 Abs. 2 ELG werden die anerkannten Ausgaben sowie die anrechenbaren Einnahmen von Ehegatten zusammengerechnet. Als Einnahmen angerechnet werden auch Einkünfte und Vermögenswerte, auf die verzichtet worden ist (Art. 11 Abs. 1 lit. g i.V.m. lit. a ELG). Der Tatbestand dieser Bestimmung ist erfüllt, wenn die leistungsansprechende Person ohne rechtliche Verpflichtung und ohne adäquate Gegenleistung auf Einkünfte oder Vermögen verzichtet hat (<ref-ruling> E. 2.2 S. 270; <ref-ruling> E. 3.2 S. 70; <ref-ruling> E. 4.2 S. 332mit Hinweisen).
2.3. Unter dem Titel des Verzichtseinkommens ist auch ein hypothetisches Einkommen des Ehegatten eines EL-Ansprechers anzurechnen, sofern dieser auf eine zumutbare Erwerbstätigkeit oder auf deren zumutbare Ausdehnung verzichtet (<ref-ruling> E. 3b S. 291; Urteil [des Eidg. Versicherungsgerichts] P 18/99 vom 22. September 2000 E. 1b, in: AHI 2001 S. 133 E. 1b). Bei der Ermittlung der zumutbaren Erwerbstätigkeit der Ehefrau oder des Ehemannes ist der konkrete Einzelfall unter Anwendung familienrechtlicher Grundsätze zu berücksichtigen (<ref-ruling> E. 3c S. 292). Dementsprechend ist auf das Alter, den Gesundheitszustand, die Sprachkenntnisse, die Ausbildung, die bisherige Tätigkeit, die konkrete Arbeitsmarktlage sowie gegebenenfalls auf die Dauer der Abwesenheit vom Berufsleben abzustellen (<ref-ruling> E. 4.1 S. 61; <ref-ruling> E. 3a S. 290). Bei der Festlegung eines hypothetischen Einkommens ist unter anderem zu berücksichtigen, dass für die Aufnahme und Ausdehnung der Erwerbstätigkeit eine gewisse Anpassungsperiode erforderlich ist. Dies geschieht in Anlehnung an die Festsetzung von nachehelichen Unterhaltsansprüchen durch Einräumung einer gewissen realistischen Übergangsfrist für die Aufnahme oder Erhöhung des Arbeitspensums, bevor ein hypothetisches Einkommen angerechnet wird (<ref-ruling> E 3.2 S. 14).
3.
3.1. Die Vorinstanz hat für das Bundesgericht in tatsächlicher Hinsicht grundsätzlich verbindlich (Art. 105 Abs. 1 und 2 BGG) festgestellt, der Beschwerdeführer sei Bezüger einer vollen Invalidenrente. Seine Ehefrau sei erst 22 Jahre alt, aufgrund des Alters sei daher ohne weiteres von einer Vermittelbarkeit auszugehen. Aus den Feststellungen der Vorinstanz ergibt sich sodann, dass die Ehefrau über keine Berufsbildung und nur geringe Sprachkenntnisse verfügte. Ferner hielt die Vorinstanz fest, die Tochter des Beschwerdeführers und seiner Ehefrau sei am 7. Februar 2017 geboren worden und zum Zeitpunkt der Anrechnung des hypothetischen Einkommens somit zwei Jahre alt gewesen. Sodann nahm das kantonale Gericht Bezug auf eine erneute Schwangerschaft der Ehefrau, wobei sich aus dem angefochtenen Entscheid der Schwangerschaftsmonat nicht ergibt. Da die diesbezügliche Sachverhaltsermittlung offensichtlich relevant und daher in einem wesentlichen Punkt unvollständig ist, ist sie gestützt auf <ref-law> von Amtes wegen zu ergänzen; dabei kann auf das unbestrittene Vorbringen des Beschwerdeführers abgestellt werden, wonach das zweite Kind am 23. Juni 2019 geboren wurde. Dieses deckt sich im Übrigen auch mit den Ausführungen im Einspracheentscheid vom 23. Mai 2019 zum errechneten Geburtstermin.
3.2. Basierend auf diesen Sachverhaltsfeststellungen prüfte die Vorinstanz zu Recht in einem ersten Schritt, ob der Ehefrau die Aufnahme einer Erwerbstätigkeit im Umfang von 50% zumutbar war. Au sgehend von der Feststellung, dass aufgrund des Alters der Ehefrau ohne weiteres von einer Vermittelbarkeit auszugehen sei, verwarf sie bei dieser Prüfung die Einwände gegen die Zumutbarkeit der Aufnahme der Erwerbstätigkeit im genannten Umfange. Weiter bejahte das kantonale Gericht in einem zweiten Schritt auch die Verwertbarkeit der Arbeitskraft auf dem konkreten Arbeitsmarkt.
3.3.
3.3.1. Der Beschwerdeführer bestreitet die Voraussetzungen für die Anrechnung eines Verzichtseinkommens der Ehefrau. Dabei bringt er insbesondere vor, unter Berücksichtigung der Umstände des vorliegenden Falles sei seiner Ehefrau die Aufnahme einer Erwerbstätigkeit nicht zumutbar.
3.3.2. Vorliegend ist vorab zu wiederholen, dass die Vorinstanz nicht ermittelt hat, in welchem Stadium der Schwangerschaft sich die Ehefrau des Beschwerdeführers befand. Dies ist hier insbesondere deshalb relevant, weil gemäss den Ausführungen der Vorinstanz die Ausgleichskasse eine Zumutbarkeit der Arbeitsfähigkeit nur gerade für die vorliegend zur Diskussion stehende Zeit von 1. Februar bis und mit 30. April 2019 annahm, währenddem sie für die Zeit bis Ende Januar 2019 und ab Mai 2019 keine Aufrechnung eines Verzichteinkommens vornahm (vgl. Sachverhalt lit. A).
Daraus ergibt sich, dass es vorliegend nicht nur darum geht zu beurteilen, inwieweit der Ehefrau des Beschwerdeführers eine Arbeitstätigkeit gesundheitlich zumutbar war und wie realistisch es war, dass sie in der dargelegten Konstellation eine Anstellung finden konnte. Vielmehr ist von ausschlaggebender Bedeutung, dass sie einerseits ein Kleinkind betreute und andererseits in Erwartung eines weiteren Kindes war. Diesem Umstand wurde im angefochtenen Entscheid nicht (hinreichend) Rechnung getragen. Nachdem die Ausgleichskasse - und mit ihr die Vorinstanz - selber davon ausging, bei der vorliegenden Konstellation sei der Ehefrau des Beschwerdeführers bis Ende Januar 2019 und ab Mai 2019 eine Erwerbstätigkeit nicht zumutbar gewesen, ist es mit dem Kindeswohl offensichtlich nicht vereinbar, für die kurze Zwischenphase von nur gerade drei Monaten von der Zumutbarkeit der Erwerbstätigkeit auszugehen. Von der Mutter eine solche Tätigkeit zu fordern, verstösst klarerweise gegen das dem Kindeswohl dienende Kontinuitätsprinzip, hätte dies doch zur Folge, dass innert kürzester Zeit zweimal die wesentlichen Bezugspersonen des Kleinkindes gewechselt hätten. Denn insbesondere unter Berücksichtigung der hier vorliegenden wirtschaftlichen Verhältnisse kann nicht davon ausgegangen werden, dass eine Fremdbetreuung des ersten Kindes angesichts der Betreuungsaufgaben für das zweite Kind und der damit zusammenhängenden fehlenden Erwerbstätigkeit unverändert fortgeführt worden wäre. Unter diesen Umständen wäre es sodann fraglich, ob (innert nützlicher Frist) überhaupt ein geeigneter Betreuungsplatz für das Kind hätte gefunden werden können.
An dieser Einschätzung vermag insbesondere nichts zu ändern, dass gemäss Ziff. C.I.3 der per 1. Januar 2017 revidierten SKOS-Richtlinien eine Erwerbstätigkeit oder die Teilnahme an einer Integrationsmassnahme spätestens dann, wenn das Kind das erste Lebensjahr vollendet hat, erwartet wird. Massgeblich ist vorliegend nicht bloss das Alter des ersten Kindes, sondern der Umstand, dass sich die Betreuungssituation aufgrund der Geburt des zweiten Kindes innert weniger Monate mit grösster Wahrscheinlichkeit wiederum geändert hätte.
3.4. Angesichts der dargelegten konkreten Umstände erscheint der Schluss der Vorinstanz, die Aufnahme einer Erwerbstätigkeit im Umfange von 50% sei für die Ehefrau des Beschwerdeführers - bezogen auf die Zeit vom 1. Februar bis und mit 30. April 2019 - zumutbar, als nicht haltbar. Nachdem es bereits an der Zumutbarkeit einer Erwerbstätigkeit der Ehefrau während der vorliegend massgeblichen Periode fehlt, erübrigt es sich, auf die weiteren Feststellungen der Vorinstanz zur Verwertbarkeit der Arbeitskraft (vgl. vorinstanzliche Erwägung 5) und die diesbezüglichen Rügen des Beschwerdeführers näher einzugehen. Die Beschwerde ist gutzuheissen und die Sache ist zur neuen Festlegung der Ergänzungsleistungen ohne Aufrechnung eines hypothetischen Einkommens für den Zeitraum vom 1. Februar bis 30. April 2019 an die Ausgleichskasse zurückzuweisen.
4.
Bei diesem Ausgang des Verfahrens hat die Beschwerdegegnerin die Gerichtskosten zu tragen (<ref-law>) und dem Beschwerdeführer eine Parteientschädigung zu bezahlen (<ref-law>). Dessen Gesuch um unentgeltliche Rechtspflege ist demzufolge gegenstandslos.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird gutgeheissen. Der Entscheid des Verwaltungsgerichts des Kantons Thurgau vom 20. November 2019 und der Einspracheentscheid der Ausgleichskasse des Kantons Thurgau vom 23. Mai 2019 werden aufgehoben. Die Sache wird zur neuen Festlegung der Ergänzungsleistungen ohne Aufrechnung eines hypothetischen Einkommens der Ehefrau des Beschwerdeführers an die Ausgleichskasse des Kantons Thurgau zurückgewiesen.
2.
Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt.
3.
Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2800.- zu entschädigen.
4.
Die Sache wird zur Neuverlegung der Parteientschädigung des vorangegangenen Verfahrens an das Verwaltungsgericht des Kantons Thurgau zurückgewiesen.
5.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Thurgau und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 22. September 2020
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Meyer
Die Gerichtsschreiberin: Stanger