Sachverhalt:
A. Der 1963 geborene B._, schweizerischer Staatsangehöriger und Bezüger einer Invalidenrente, meldete sich im November 2008 bei der Gemeinde X._, Durchführungsstelle für Zusatzleistungen zur AHV/IV, zum Bezug von Zusatzleistungen an. Gemäss Unterlagen war er ab 27. Mai 2007 in X._ wohnhaft, hatte davor mehrheitlich im Ausland gelebt und plante für die Zeit von Dezember 2008 bis Mai 2009 einen erneuten Aufenthalt in Asien. Mit Verfügung vom 20. November 2008 verneinte die Durchführungsstelle einen Anspruch auf kantonale Beihilfen und Gemeindezuschüsse, sprach B._ Ergänzungsleistungen mit Wirkung ab 1. Dezember 2008 zu und hielt gleichzeitig in lit. G der Verfügung fest, dass die Auszahlung an die Gemeindekasse X._ erfolge. Die gegen die Anordnung in lit. G der Verfügung gerichtete Einsprache lehnte die Durchführungsstelle ab (Entscheid vom 1. Dezember 2008).
B. B._ erhob Beschwerde mit dem Antrag, lit. G der Verfügung sei aufzuheben und es seien ihm mit Wirkung ab Dezember 2008 kantonale Beihilfen sowie Gemeindezuschüsse zuzusprechen. Seinem gleichzeitig gestellten Gesuch um unentgeltliche Verbeiständung gab das angerufene Sozialversicherungsgericht des Kantons Zürich statt (Verfügung vom 10. Februar 2009). Mit Entscheid vom 29. September 2010 wies das Gericht die Beschwerde ab, soweit es darauf eintrat.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten stellt der nunmehr anwaltlich vertretene B._ das Rechtsbegehren, der kantonale Entscheid und die Bestimmung lit. G der Verwaltungsverfügung (Auszahlung der Zusatzleistungen durch die Gemeindekasse) seien aufzuheben. Eventualiter sei festzustellen, dass er die Ergänzungsleistungen ab Dezember 2008 im Rahmen der Verwirkungsfrist des Art. 24 ATSG bei der Gemeindekasse abholen könne. Subeventualiter sei die Bestimmung in lit. G der Verfügung dahingehend abzuändern, dass die Auszahlung der Ergänzungsleistungen erst ab März 2009 durch die Gemeindekasse und vorher durch Post- oder Banküberweisung erfolge. Des Weitern ersucht er um Bewilligung der unentgeltlichen Rechtspflege (Prozessführung, Verbeiständung).
Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (Art. 82 ff. BGG) kann wegen Rechtsverletzung gemäss Art. 95 und 96 BGG erhoben werden. Die vorinstanzliche Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG).
2. 2.1 Der Anspruch auf Ergänzungsleistungen setzt unter anderem den zivilrechtlichen Wohnsitz sowie den gewöhnlichen Aufenthalt in der Schweiz voraus (Art. 4 Abs. 1 ELG). In Bezug auf Auslandaufenthalte wird die Voraussetzung des zivilrechtlichen Wohnsitzes und Aufenthaltes in Rz. 2009 bis 2011 (in den ab 1. Januar 2005 in Kraft stehenden Fassungen) der vom Bundesamt für Sozialversicherungen herausgegebenen, für das Gericht als Verwaltungsweisung allerdings nicht verbindlichen (BGE 133 V 587 E. 6.1 S. 591; 133 V 257 E. 3.2 S. 258 mit Hinweisen; vgl. BGE 133 II 305 E. 8.1 S. 315) Wegleitung über die Ergänzungsleistungen zur AHV/IV (WEL) konkretisiert (vgl. auch Urteil P 23/00 vom 26. Juli 2001 E. 3 zu Art. 2 Abs. 1 aELG [in Kraft bis Ende 2007]).
2.2 In der den Anspruch auf Ergänzungsleistungen festsetzenden Verfügung wird bestimmt, wer die Leistung ausbezahlt und wie sie ausgerichtet wird (Erwin Carigiet/Uwe Koch, Ergänzungsleistungen zur AHV/IV, 2. Aufl. 2009, S. 84; Rz. 8014 WEL in der ab 1. Januar 2008 in Kraft stehenden Fassung). In der Regel erfolgt die Auszahlung monatlich (Art. 19 ATSG). Die Ergänzungsleistungen können gemeinsam mit der Rente der AHV oder IV auf ein Postcheck- oder Bankkonto überwiesen werden (Art. 21 Abs. 4 ELG und Rz. 8014 WEL; Carigiet/Koch, a.a.O., S. 84).
3. 3.1 Streitig und zu prüfen ist aufgrund der Vorbringen in der Beschwerde - wie vor Vorinstanz - nicht der Anspruch auf Ergänzungsleistungen, sondern einzig die (im angefochtenen Entscheid bestätigte) Zahlungsmodalität gemäss lit. G der Verfügung vom 20. November 2008.
3.2 Der Beschwerdeführer stellt sich im Hauptantrag auf den Standpunkt, es widerspreche Bundesrecht, für den Anspruch auf Ergänzungsleistungen zu verlangen, dass die versicherte Person die Ergänzungsleistung jeden Monat persönlich abhole; ein längerer Auslandaufenthalt werde damit verhindert. In der Begründung zum Eventualantrag hält der Beschwerdeführer jedoch zutreffend fest, dass ihn lit. G der Verfügung vom 20. November 2008 dazu nicht verpflichtet, sondern einzig bestimmt, dass die Auszahlung an die Gemeindekasse X._ erfolge. Eine derartige Auszahlung per Postanweisung wird nur ausnahmsweise vorgenommen, insbesondere, wenn der (Anspruchsvoraussetzung bildende) Aufenthalt der EL-berechtigten Person in der Schweiz ungewiss ist und kontrolliert werden muss (Carigiet/Koch, a.a.O., S. 84 f.). Dass diese Auszahlungsform zulässig, insbesondere grundrechtskonform und verhältnismässig ist, hat das Bundesgericht mit Urteil 8C_493/2007 vom 15. Mai 2008 (mit Zusammenfassung in: SZS 2008 S. 360) entschieden. Daran ist hier festzuhalten, auch unter Berücksichtigung des Vorbringens, die Reisen nach Asien seien Ausdruck der Krankheit des Beschwerdeführers. Dabei versteht sich von selbst und bedarf keiner besonderen Feststellung, dass an das Fehlen einer unverzüglichen monatlichen Entgegennahme keine Verwirkungsfolge (vgl. dazu Art. 24 ATSG in Verbindung mit Art. 1 Abs. 1 ELG) geknüpft ist. Nicht beigepflichtet werden kann dem Beschwerdeführer, soweit er davon ausgeht, die Bestimmung von lit. G verpflichte ihn nicht, persönlich zu erscheinen, weshalb er die Auszahlung an eine von ihm bevollmächtigte Person verlangen könne. Denn ihrem Zweck entsprechend, den Aufenthalt der versicherten Person zu überprüfen, verlangt die Auflage eine persönliche oder mit anderen Worten eigenhändige Entgegennahme, was eine Vertretung, bei welcher die Anspruchsvoraussetzung ebenso wenig kontrolliert werden kann wie bei einer Bank- oder Postüberweisung, ausschliesst. Entgegen der Auffassung des Beschwerdeführers lag es sodann ohne weiteres im Ermessen der Verwaltung, die persönliche Abholung bereits ab Beginn des für sechs Monate geplanten Auslandaufenthalts (mithin ab Dezember 2008) vorzusehen.
4. Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer grundsätzlich die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG). Seinem Gesuch um unentgeltliche Rechtspflege kann jedoch entsprochen werden (Art. 64 Abs. 1 und 2 BGG). Es wird indessen ausdrücklich auf Art. 64 Abs. 4 BGG hingewiesen, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten hat, wenn sie später dazu in der Lage ist.
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt.
3. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Gerichtskasse genommen.
4. Rechtsanwalt Dr. Markus Krapf wird als unentgeltlicher Anwalt des Beschwerdeführers bestellt, und es wird ihm für das bundesgerichtliche Verfahren aus der Gerichtskasse eine Entschädigung von Fr. 2'800.- ausgerichtet.
5. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 7. März 2011
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Meyer Keel Baumann