Sachverhalt: A. S._ (geb. 1951) wurde mit Verfügung der IV-Stelle des Kantons Zürich vom 14. März 2007 rückwirkend ab 1. April 2002 eine ganze Invalidenrente, samt Zusatzrente für die Ehefrau und zwei Kinderrenten zugesprochen. Zudem gewährte ihm die Geschäftsstelle für Zusatzleistungen zur AHV/IV der Stadt Opfikon (nachstehend: Durchführungsstelle) gemäss Verfügung vom 21. September 2007 mit Wirkung ab November 2002 Ergänzungsleistungen zur Invalidenversicherung. Dagegen erhoben S._ und seine Ehefrau, L._ (geb. 1951), Einsprache, mit welcher sie kantonale und kommunale Zusatzleistungen geltend machten. Mit Verfügung vom 12. Dezember 2007 sprach die IV-Stelle L._ ab 1. Juli 2004 ebenfalls eine ganze Invalidenrente und zwei Kinderrenten zu. Die Durchführungsstelle nahm daher eine Neuberechnung des Leistungsanspruchs von S._ ab Juli 2004 vor (Verfügung vom 28. Februar 2008) und wies die Einsprache mit Entscheid vom 28. Februar 2008 ab. Dabei verneinte sie den Anspruch auf kantonale Beihilfe und kommunale Zuschüsse. B. Gegen den Einspracheentscheid vom 28. Februar 2008 erhoben S._ und L._ Beschwerde beim Sozialversicherungsgericht des Kantons Zürich. Sie beantragten mit Wirkung ab 1. November 2004 kantonale Beihilfen und kommunale Mietzinszuschüsse, eventuell eine rechnerische Überprüfung ihres Anspruchs. Das kantonale Gericht wies die Beschwerde mit Entscheid vom 31. März 2010 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lassen S._ und L._ beantragen, der Entscheid des Sozialversicherungsgerichts sei aufzuheben, und die Durchführungsstelle sei zu verpflichten, ihnen ab 1. November 2004 kantonale Beihilfen und kommunale Mietzinszuschüsse auszurichten; eventuell sei die Sache zur Festsetzung des Anspruchs an die Vorinstanz oder die Verwaltung zurückzuweisen. Zudem ersuchen sie um unentgeltliche Rechtspflege. Die Durchführungsstelle schliesst auf Abweisung der Beschwerde, während das Bundesamt für Sozialversicherungen und das Sozialversicherungsgericht auf eine Vernehmlassung verzichten.