Sachverhalt:
A.
A.a. A.A._ bezieht seit November 1999 eine Invalidenrente. Von Juli 2005 bis Mai 2011 hatte zudem auch ihr Ehemann B.A._ Anspruch auf eine Invalidenrente (vgl. Urteil 9C_292/2014 vom 3. September 2014). Die IV-Stelle des Kantons Zürich stellte die Rentenzahlungen an B.A._ nach dem Bundesgerichtsurteil per 31. Dezember 2014 ein. Daneben wurden dem Ehepaar A.A._ und B.A._ Zusatzleistungen entrichtet (Ergänzungsleistungen und kantonale Beihilfen).
A.b. Die Ausgleichskasse forderte Zusatzleistungen von Fr. 51'059.- von B.A._ betreffend den Zeitraum vom 1. April 2007 bis 31. Mai 2011 zurück (Verfügung vom 8. Juli 2015). Gleichzeitig erkannte die Ausgleichskasse auf eine Nachzahlung an A.A._ für die Zeit vom 1. Juni 2011 bis 31. Mai 2015 von Fr. 85'676.-, die sie mit Rückforderungen der Ausgleichskasse gegen B.A._ und Rückforderungen der Invalidenversicherung verrechnete (Verfügung vom 8. Juli 2015). Gegen die Verrechnung erhob das Ehepaar A.A._ und B.A._ Einsprache. Auch gegen die mit Verfügung der Ausgleichskasse vom 25. November 2015 hinsichtlich der ab 1. Dezember 2015 festgesetzten Zusatzleistungen von A.A._ und gegen die Verfügung der Ausgleichskasse vom 4. Februar 2016 betreffend die Rückerstattung von Fr. 2103.- erhob die Versicherte Einsprache. Auf die Verfügungen vom 25. November 2015 und 4. Februar 2016 kam die Verwaltung mit den Einspracheentscheiden vom 2. November 2016 zurück.
Anknüpfend an den Verfügungen vom 8. Juli 2015 hielt die Ausgleichskasse in der Verfügung vom 8. Dezember 2016 an B.A._ fest, nachdem der Rückforderungsbetrag von Fr. 51'059.- bei der Nachzahlung an die Ehefrau berücksichtigt werde, die Rückforderung betreffend den Zeitraum vor Juli 2010 aber verwirkt sei, habe B.A._ Anspruch auf eine Nachzahlung von Fr. 32'713.-. Davon würden Fr. 13'777.55 an die Sozialbehörde X._ und Fr. 18'935.45 an B.A._ ausbezahlt. Gleichtags verfügte die Ausgleichskasse bezüglich A.A._, dass dieser vom Nachzahlungsbetrag von Fr. 111'106.- Fr. 11'654.- ausbezahlt würden, dies unter Verrechnung einer Rückforderung gegen B.A._ von Fr. 51'059.-, Rückforderungen der Invalidenversicherung von Fr. 13'701.- und Fr. 20'916.-, ihres Guthabens von Fr. 2013.- und der Verrechnung einer Rückforderung der Sozialhilfebehörde der Gemeinde X._ von Fr. 13'776.-. Gegen diese beiden Verfügungen erhoben die Eheleute A.A._ und B.A._ Einsprache, welche die Ausgleichskasse teilweise guthiess und den Einsprechern zusätzlich Fr. 2126.55 zusprach (Einspracheentscheid vom 8. März 2018).
B.
Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Urteil vom 17. Juni 2020 ab.
C.
A.A._ und B.A._ lassen Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, das vorinstanzliche Urteil sei aufzuheben und die Sache sei an das Sozialversicherungsgericht des Kantons Zürich zurückzuweisen, damit sich dieses mit der Frage der Verrechnung von verwirkten Rückforderungsansprüchen auseinandersetze und hernach neu entscheide. Eventualiter sei der vorinstanzliche Entscheid und der Einspracheentscheid der SVA Zürich vom 8. März 2018 aufzuheben und die SVA Zürich zu verpflichten, B.A._ Fr. 17'619.55 und A.A._ Fr. 47'429.- an Zusatzleistungen nachzuzahlen.
Die Ausgleichskasse schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Erwägungen:
1.
Die II. sozialrechtliche Abteilung ist zuständig für Beschwerden, welche die Ergänzungsleistungen betreffen (<ref-law> sowie Art. 35 lit. f des Reglements für das Bundesgericht vom 20. November 2006 [BGerR; SR 173.110.131]). Nach <ref-law> fällt die kantonale Sozialversicherung hingegen in die Zuständigkeit der I. sozialrechtlichen Abteilung. Der Schwerpunkt der Entscheidung betrifft hier die Ergänzungsleistungen, weshalb die II. sozialrechtliche Abteilung zur Beurteilung der vorliegenden Beschwerde zuständig ist (<ref-law>).
2.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann eine Rechtsverletzung nach Art. 95 f. BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Dennoch prüft es - offensichtliche Fehler vorbehalten - nur die in seinem Verfahren gerügten Rechtsmängel (Art. 42 Abs. 1 f. BGG; <ref-ruling> E. 2.2.1). Immerhin prüft es, unter Berücksichtigung der allgemeinen Begründungspflicht (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1 mit Hinweisen). Die Begründung hat in der Rechtsschrift selbst zu erfolgen. Der blosse Verweis auf Ausführungen in andern Rechtsschriften oder auf die Akten reicht nicht aus (<ref-ruling> E. 4; <ref-ruling> E. 3.1). Diese Anforderungen gelten auch für die Beschwerdeantwort (<ref-ruling> E. 2; <ref-ruling> E. 2).
Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann ihre Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG).
3.
Die Beschwerdeführer rügen in erster Linie eine Verletzung des Anspruchs auf rechtliches Gehör. Die Vorinstanz habe sich nicht mit ihrem Vorbringen auseinandergesetzt, dass eine Verrechnung von Guthaben der Beschwerdeführerin mit im Zeitpunkt der Verrechnung verwirkten Rückforderungen gegenüber dem Beschwerdeführer nicht erfolgen dürfe.
Das kantonale Gericht muss sich nicht mit allen Parteistandpunkten einlässlich auseinandersetzen und nicht jedes einzelne Vorbringen ausdrücklich widerlegen; vielmehr genügt es, wenn der Entscheid die wesentlichen Faktoren hinlänglich feststellt und würdigt, sodass er gegebenenfalls sachgerecht angefochten werden kann (<ref-ruling> E. 9.2; <ref-ruling> E. 2.2.1; <ref-ruling> E. 4.1; <ref-ruling> E. 3.3; je mit Hinweisen). Diese Anforderungen erfüllt der angefochtene Entscheid, indem daraus hervorgeht, welche Abzüge von der Nachzahlung vorgenommen wurden. Den Beschwerdeführern war somit eine sachgerechte Anfechtung des vorinstanzlichen Erkenntnisses möglich, weshalb eine Verletzung des Anspruchs auf rechtliches Gehör zu verneinen ist.
4.
Strittig ist weiter, ob die Vorinstanz Bundesrecht verletzte, indem sie feststellte, dass den Beschwerdeführern kein weiterer Nachzahlungsanspruch zusteht. Dies ist mit Blick auf die hinreichend substanziierten Vorbringen - die Beschwerdeantwort der IV-Stelle, die weitgehend nur auf eine Eingabe im vorinstanzlichen Verfahren verweist, erfüllt diese Anforderungen nicht (vgl. E. 2 hiervor) - zu prüfen.
4.1.
4.1.1. Wie dem Einspracheentscheid vom 8. März 2018 und der Verfügung vom 8. Dezember 2016 betreffend die Beschwerdeführerin zu entnehmen ist, hat die Ausgleichskasse vom ermittelten Nachzahlungsanspruch von Fr. 111'106.- insbesondere Rentenrückforderungen der Invalidenversicherung von Fr. 13'701.- und Fr. 20'916.- zur Verrechnung zugelassen. Die Vorinstanz erachtete dies als rechtens, weil sich in entsprechendem Umfang die Rückerstattung gegen den Beschwerdeführer verringert habe. In der Beschwerde wird diesbezüglich beanstandet, dass verwirkte Rückforderungen der Invalidenversicherung zur Verrechnung zugelassen wurden.
4.1.2. Im invalidenversicherungsrechtlichen Verfahren wurde ein Rückerstattungsanspruch der IV-Stelle gegenüber von A.A._ und B.A._ für zu viel bezahlte Invalidenrenten von Juni 2011 bis Dezember 2014 über insgesamt Fr. 71'842.- verneint (betreffend den Beschwerdeführer vgl. Verfügung der IV-Stelle vom 2. November 2016; betreffend die Beschwerdeführerin vgl. Verfügung der IV-Stelle vom 2. November 2016, Urteil des Sozialversicherungsgerichts des Kantons Zürich vom 22. Mai 2018 und Verfügung der IV-Stelle vom 22. August 2019). Es liegt somit keine Rückerstattungsforderung der Invalidenversicherung vor, weshalb auch keine Verrechnung damit erfolgen kann. Dies führt auf der anderen Seite aber dazu, dass den Beschwerdeführern diese Rentenleistungen zur Bestreitung ihres Lebensunterhalts zur Verfügung standen, weshalb dies bei der Berechnung der Zusatzleistungen im Rahmen der Verfügung vom 8. Dezember 2016 bzw. des Einspracheentscheides vom 8. März 2018 auch hätte berücksichtigt werden müssen, sind doch bei den Ergänzungsleistungen und kantonalen Beihilfen sämtliche Einnahmen, die von Gesetzes wegen nicht ausdrücklich ausgeschlossen sind, anzurechnen (Art. 11 ELG; § 15 ZLG des Gesetzes über die Zusatzleistungen zur eidgenössischen Alters-, Hinterlassenen- und Invalidenversicherung [ZLG; LS 831.3]; vgl. JÖHL/USINGER-EGGER, Ergänzungsleistungen zur AHV/IV, in: Soziale Sicherheit, SBVR Bd. XIV, 3. Aufl. 2016, Rz. 117 S. 1798 f.). Die letzten Berechnungen enthalten diese Rentenleistungen nicht, es ist deshalb notwendig, dass die Verwaltung eine neue Berechnung des Nachzahlungsanspruchs der Beschwerdeführerin vornimmt.
4.2.
Weiter ist die Höhe der Rückerstattungsschuld des Beschwerdeführers, welche mit der Nachzahlung der Beschwerdeführerin verrechnet wurde, strittig.
4.2.1. Nach Art. 27 ELV können Rückforderungen mit fälligen Ergänzungsleistungen verrechnet werden. Allgemein unterliegt die Verrechnung im öffentlichen Recht - und damit auch im Sozialversicherungsrecht - der Bedingung, dass sich zwei Personen gegenseitig als Gläubiger und Schuldner von fälligen Leistungen gegenüberstehen (<ref-law>; vgl. SVR 2010 EL Nr. 9 S. 25, 9C_941/2009 E. 5.1 mit Hinweis auf <ref-ruling> E. 6.4.3.1). Um den Besonderheiten des Sozialversicherungsrechts Rechnung zu tragen, gilt diese Regel hinsichtlich der Gegenseitigkeit nicht absolut. So ist nicht erforderlich, dass der Rechtsunterworfene oder Versicherte gleichzeitig Gläubiger und Schuldner der Verwaltung ist, wenn die Verrechnungsforderungen aus versicherungstechnischen und rechtlichen Standpunkten in einer engen Beziehung zueinander stehen (URS MÜLLER, Rechtsprechung des Bundesgerichts zum ELG, 3. Aufl. 2015, N. 774 zu Art. 12 ELG; vgl. auch <ref-ruling> E. 7.3; <ref-ruling> E. 4.1; <ref-ruling> E. 2.2.1).
4.2.2. Die Verwaltung stellte in der Verfügung vom 8. Dezember 2016 unter Ausschluss von bezogenen Zusatzleistungen vor Juli 2010 fest, dass der Beschwerdeführer Fr. 18'346.- zurückzuerstatten habe. Die Vorinstanz bestätigte dies. Der Beschwerdeführer macht dagegen geltend, die Rückforderung belaufe sich lediglich auf Fr. 17'675.-, was sich aus den in der Verfügung vom 8. Dezember 2016 aufgeführten Ergänzungsleistungen für den Zeitraum vom 1. Juli 2010 bis 31. Mai 2011 ergebe. Es ist richtig, dass gemäss der Zusammenstellung der Ausgleichskasse in der Verfügung vom 8. Dezember 2016 die Zusatzleistungen von Juli 2010 bis Mai 2011 Fr. 17'675.- betragen. Der Umfang der Rückerstattung richtet sich jedoch nicht nach der Höhe des Anspruchs, sondern ergibt sich aus den unrechtmässigen Auszahlungen (Differenz zwischen den Auszahlungen und dem Anspruch). Dazu fehlen Feststellungen in der Verfügung vom 8. Dezember 2016, dem Einspracheentscheid vom 8. März 2018 und dem kantonsgerichtlichen Urteil, weshalb die geforderte und mit dem Nachzahlungsanspruch der Ehefrau verrechnete Rückerstattung nicht nachvollzogen werden kann. Die Verwaltung hat eine Zusammenstellung zu stellen, aus der sich der Anspruch, die bezogenen Leistungen und die Rückerstattungsschuld ergibt.
4.2.3. Unabhängig davon, ob die Rückerstattungsschuld des Beschwerdeführers Fr. 17'675.- oder Fr. 18'346.- beträgt, ist entgegen der Argumentation in der Beschwerde aber nicht einsichtig, weshalb dies zu einem höheren Nachzahlungsanspruch des Beschwerdeführers führen soll. Denn aus dem Umstand, dass die Rückerstattung gegen ihn von Fr. 51'059.- auf Fr. 18'346.- (bzw. eventuell auf Fr. 17'675.-) zu reduzieren war (vgl. Verfügung vom 8. Dezember 2016), folgt grundsätzlich kein Nachzahlungsanspruch des Beschwerdeführers. Die Verwaltung wird sich zu diesem Punkt in der neuen Verfügung zu äussern haben, dabei hat sie zu beachten, dass der Beschwerdeführer ab 1. Juni 2011 keinen Invalidenrentenanspruch mehr hat (vgl. Sachverhalt lit. A.a) und die diesen Zeitraum betreffende Nachzahlung der Zusatzleistungen ausschliesslich der Beschwerdeführerin zusteht (Art. 4 ELG; § 13 Abs. 1 des Gesetzes über die Zusatzleistungen zur eidgenössischen Alters-, Hinterlassenen- und Invalidenversicherung [ZLG; LS 831.3]). Sollte sich bestätigen, dass die Ausgleichskasse am 12. Dezember 2016 keine Nachzahlung von Fr. 18'935.45 an den Beschwerdeführer auf das Konto der Eheleute hätte veranlassen dürfen, stellt sich die Frage einer allfälligen Rückforderung der unrechtmässigen Auszahlung (vgl. <ref-law> und Art. 42 ELG; § 19 Abs. 1 ZLG) und deren Verrechnung mit Ansprüchen der Beschwerdeführerin (E. 4.2.1 hiervor).
4.3. Weiter ist strittig, inwiefern Fürsorgeleistungen des Sozialdienstes X._ verrechnet werden können.
4.3.1. Hat eine private oder eine öffentliche Fürsorgestelle einer Person im Hinblick auf Ergänzungsleistungen Vorschussleistungen für den Lebensunterhalt während einer Zeitspanne gewährt, für die rückwirkend Ergänzungsleistungen ausgerichtet werden, so kann ihr bei der Nachzahlung dieser Vorschuss direkt vergütet werden (Art. 22 Abs. 4 ELV; vgl. betreffend der kantonalen Zusatzleistungen § 23 ZLG). Die direkte Nachzahlung von Ergänzungsleistungen an Sozialhilfebehörden setzt u.a. voraus, dass die Vorschüsse die gleiche Periode betreffen (zeitliche Kongruenz; vgl. <ref-ruling> E. 3.2.2).
4.3.2. Mit den beiden Verfügungen vom 8. Dezember 2016 bzw. dem Einspracheentscheid vom 8. März 2018 wies die Ausgleichskasse insgesamt Fr. 27'553.55 (Fr. 13'777.55 + Fr. 13'776.-) zur Auszahlung an den Sozialdienst X._ an. Die Vorinstanz hielt dazu fest, dass diese Verrechnung unter Ausschluss der Rückerstatttungsforderung des Sozialdienstes für den Monat Dezember 2016 (Fr. 26'291.55) bei der Nachzahlung an die Beschwerdeführerin zu berücksichtigen sei. Die Beschwerdeführer bringen dagegen vor, es fehle an der erforderlichen zeitlichen Kongruenz zwischen dem Nachzahlungsanspruch des Beschwerdeführers und den Unterstützungszahlungen der Gemeinde X._, weshalb der Beschwerdeführer Anspruch auf eine ungekürzte Nachzahlung habe.
Mit dieser Begründung zeigen die Beschwerdeführer nicht auf, inwiefern die vorinstanzliche Erwägung bundesrechtswidrig sein soll, wonach die Rückerstattungsforderung des Sozialdienstes bei der Nachzahlung an die Beschwerdeführerin zu berücksichtigten ist. Sie legen insbesondere nicht dar, inwiefern der Nachzahlungsanspruch der Beschwerdeführerin und die vorinstanzlich zugelassene Rückforderung des Sozialdienstes verschiedene Zeiträume betreffen. Die zeitliche Kongruenz spricht somit nicht gegen eine Drittauszahlung an die Gemeinde X._.
4.4. Zusammenfassend ist festzuhalten, dass das angefochtene Urteil aufzuheben und die Sache an die Verwaltung zurückzuweisen ist, damit sie im Sinne der vorstehenden Erwägungen eine neue Berechnung vornimmt. Gestützt darauf wird sie neu entscheiden. Dabei wird sie die Grenzen der Parteibegehren im vorliegenden Verfahren zu berücksichtigen haben (<ref-law>), die im Fall einer Rückweisung auch die vorinstanzlichen Behörden binden (vgl. Urteil 8C_419/2018 vom 11. Dezember 2018 E. 4.5 mit Hinweisen).
5.
Das Verfahren ist kostenpflichtig (<ref-law>). Die Gerichtskosten werden der Beschwerdegegnerin als unterliegender Partei auferlegt (<ref-law>). Sie hat den Beschwerdeführern eine Parteientschädigung auszurichten (Art. 66 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen. Das Urteil des Sozialversicherungsgerichts des Kantons Zürich vom 17. Juni 2020 und der Einspracheentscheid der Sozialversicherungsanstalt des Kantons Zürich, Zusatzleistungen zur AHV/IV, vom 8. März 2018 werden aufgehoben. Die Sache wird zu neuer Verfügung an die Sozialversicherungsanstalt des Kantons Zürich, Zusatzleistungen zur AHV/IV, zurückgewiesen. Im Übrigen wird die Beschwerde abgewiesen.
2.
Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt.
3.
Die Beschwerdegegnerin hat die Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2800.- zu entschädigen.
4.
Die Sache wird zur Neuverlegung der Parteientschädigung des vorangegangenen Verfahrens an das Sozialversicherungsgericht des Kantons Zürich zurückgewiesen.
5.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 14. Mai 2021
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Parrino
Die Gerichtsschreiberin: Möckli