Sachverhalt:
Sachverhalt:
A. Der 1962 geborene M._ wird seit Jahren vom Fürsorgeamt unterstützt. Am 26. Juli 2001 meldete er sich bei der Invalidenversicherung zum Leistungsbezug an. Mit Verfügung vom 2. April 2003 sprach ihm die IV-Stelle Bern rückwirkend ab 1. Juli 2003 eine ganze Invalidenrente zu. Gleichzeitig teilte sie mit, von dem sich daraus bis und mit April 2003 ergebenden Nachzahlungsbetrag von Fr. 53'712.- würden Fr. 50'472.- dem Fürsorgeamt zwecks Verrechnung mit von diesem für die gleiche Zeit erbrachten Fürsorgeleistungen überwiesen. Daran hielt die IV-Stelle mit Einspracheentscheid vom 4. Juni 2003 fest.
A. Der 1962 geborene M._ wird seit Jahren vom Fürsorgeamt unterstützt. Am 26. Juli 2001 meldete er sich bei der Invalidenversicherung zum Leistungsbezug an. Mit Verfügung vom 2. April 2003 sprach ihm die IV-Stelle Bern rückwirkend ab 1. Juli 2003 eine ganze Invalidenrente zu. Gleichzeitig teilte sie mit, von dem sich daraus bis und mit April 2003 ergebenden Nachzahlungsbetrag von Fr. 53'712.- würden Fr. 50'472.- dem Fürsorgeamt zwecks Verrechnung mit von diesem für die gleiche Zeit erbrachten Fürsorgeleistungen überwiesen. Daran hielt die IV-Stelle mit Einspracheentscheid vom 4. Juni 2003 fest.
B. Die gegen die vorgesehene Drittauszahlung gerichtete Beschwerde wies das Verwaltungsgericht des Kantons Bern mit Entscheid vom 13. Februar 2004 ab.
B. Die gegen die vorgesehene Drittauszahlung gerichtete Beschwerde wies das Verwaltungsgericht des Kantons Bern mit Entscheid vom 13. Februar 2004 ab.
C. Mit Verwaltungsgerichtsbeschwerde beantragt M._ sinngemäss die Aufhebung der Drittauszahlung an das Fürsorgeamt. Auf die Aufforderung des Eidgenössischen Versicherungsgerichts hin, innert 14 Tagen einen Kostenvorschuss von Fr. 4'000.- zu bezahlen, ersuchte der Beschwerdeführer mit Schreiben vom 14. April 2004 um Gewährung der unentgeltlichen Rechtspflege.
Die IV-Stelle schliesst unter Hinweis auf ihre Stellungnahme im kantonalen Verfahren und den vorinstanzlichen Entscheid auf Abweisung der Verwaltungsgerichtsbeschwerde. Das Fürsorgeamt verweist ebenfalls auf seine Eingabe im kantonalen Verfahren und verzichtet wie auch das Bundesamt für Sozialversicherung auf eine Vernehmlassung.

Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. Die vom Beschwerdeführer nach durchgeführtem Schriftenwechsel unaufgefordert eingereichte zusätzliche Stellungnahme vom 1. Dezember 2004 fördert keine neuen Gesichtspunkte zu Tage und kann daher schon aus verfahrensrechtlichen Gründen nicht berücksichtigt werden (<ref-ruling>).
1. Die vom Beschwerdeführer nach durchgeführtem Schriftenwechsel unaufgefordert eingereichte zusätzliche Stellungnahme vom 1. Dezember 2004 fördert keine neuen Gesichtspunkte zu Tage und kann daher schon aus verfahrensrechtlichen Gründen nicht berücksichtigt werden (<ref-ruling>).
2. Das kantonale Gericht hat die Voraussetzungen für eine Drittauszahlung von Rentennachzahlungen der Invalidenversicherung zwecks Verrechnung mit erbrachten Fürsorgeleistungen (Art. 22 Abs. 1 und 2 lit. a und b ATSG in Verbindung mit <ref-law>) zutreffend dargelegt, worauf verwiesen wird.
2. Das kantonale Gericht hat die Voraussetzungen für eine Drittauszahlung von Rentennachzahlungen der Invalidenversicherung zwecks Verrechnung mit erbrachten Fürsorgeleistungen (Art. 22 Abs. 1 und 2 lit. a und b ATSG in Verbindung mit <ref-law>) zutreffend dargelegt, worauf verwiesen wird.
3. Wie die Vorinstanz richtig festgestellt hat, kann sich das Fürsorgeamt und nunmehr das Amt für Soziales bei der Geltendmachung des streitigen Drittauszahlungsanspruches auf <ref-law> in Verbindung mit <ref-law> stützen. Die gewährte Sozialhilfe stellt angesichts ihres subsidiären Charakters (Art. 9 des kantonal-bernischen Gesetzes vom 11. Juni 2001 über die öffentliche Sozialhilfe [Sozialhilfegesetz (SHG); BSG 860.1]) eine gesetzliche Vorschussleistung im Sinne von Art. 85bis Abs. 1 und 2 lit. b IVV dar und Art. 40 Abs. 3 SHG sieht ein eindeutiges Rückforderungsrecht gegenüber der Invalidenversicherung infolge der Rentennachzahlung vor. Die Voraussetzungen für die - in betraglicher Hinsicht nicht bestrittene - Drittauszahlung an das Fürsorgeamt oder nunmehr das Amt für Soziales sind damit erfüllt. Was dagegen in der Verwaltungsgerichtsbeschwerde vorgebracht wird, ändert nichts. Weil lit. b und nicht lit. a von <ref-law> zur Anwendung gelangt, spielt es auch keine Rolle, dass der Beschwerdeführer keine schriftliche Zustimmung zu einer Drittauszahlung erteilt hat.
3. Wie die Vorinstanz richtig festgestellt hat, kann sich das Fürsorgeamt und nunmehr das Amt für Soziales bei der Geltendmachung des streitigen Drittauszahlungsanspruches auf <ref-law> in Verbindung mit <ref-law> stützen. Die gewährte Sozialhilfe stellt angesichts ihres subsidiären Charakters (Art. 9 des kantonal-bernischen Gesetzes vom 11. Juni 2001 über die öffentliche Sozialhilfe [Sozialhilfegesetz (SHG); BSG 860.1]) eine gesetzliche Vorschussleistung im Sinne von Art. 85bis Abs. 1 und 2 lit. b IVV dar und Art. 40 Abs. 3 SHG sieht ein eindeutiges Rückforderungsrecht gegenüber der Invalidenversicherung infolge der Rentennachzahlung vor. Die Voraussetzungen für die - in betraglicher Hinsicht nicht bestrittene - Drittauszahlung an das Fürsorgeamt oder nunmehr das Amt für Soziales sind damit erfüllt. Was dagegen in der Verwaltungsgerichtsbeschwerde vorgebracht wird, ändert nichts. Weil lit. b und nicht lit. a von <ref-law> zur Anwendung gelangt, spielt es auch keine Rolle, dass der Beschwerdeführer keine schriftliche Zustimmung zu einer Drittauszahlung erteilt hat.
4. Trotz dieser an sich klaren Rechtslage war die Verwaltungsgerichtsbeschwerde nicht von vornherein aussichtslos, befasste sich doch das Eidgenössische Versicherungsgericht in einem andern Verfahren mit der Frage, wie die in <ref-law> enthaltene Formulierung zu verstehen sei, wonach dort namentlich bezeichnete Institutionen, "welche im Hinblick auf eine Rente der Invalidenversicherung Vorschussleistungen erbracht haben", verlangen können, dass eine Rentennachzahlung an sie ausbezahlt wird. Diese Frage ist erst mit Urteil vom 5. August 2005 in dem Sinne entschieden worden, dass es für die Leistungskoordination zwischen Sozialhilfe und Invalidenversicherung nur darauf ankommt, dass objektiv für den gleichen Zeitraum Sozialhilfe- und Invalidenversicherungsleistungen fliessen und für die zur Verhinderung eines doppelten Leistungsbezugs erforderliche Drittauszahlung die weiteren normativen Erfordernisse des <ref-law> erfüllt sind. Nicht von Bedeutung ist hingegen, dass die Sozialhilfeleistungen in subjektiver Kenntnis eines bei der Invalidenversicherung gestellten oder noch zu stellenden Leistungsbegehrens ausgerichtet wurden (Urteil K. vom 5. August 2005 [I 80/03], Erw. 5.2). Da diese Frage im Zeitpunkt der Einreichung der Verwaltungsgerichtsbeschwerde nicht geklärt und auch nicht anzunehmen war, dass das den Beschwerdeführer unterstützende Fürsorgeamt im Zeitpunkt der Ausrichtung von Sozialhilfeleistungen von dem bei der Invalidenversicherung hängigen Leistungsbegehren Kenntnis hatte, bestand immerhin die Möglichkeit, dass dem erhobenen Rechtsmittel Erfolg beschieden sein könnte. Da überdies die Bedürftigkeit ausgewiesen ist, kann die am 14. April 2004 beantragte unentgeltliche Rechtspflege gewährt werden.
Trotz grundsätzlicher Kostenpflicht (Umkehrschluss aus Art. 134 OG) werden daher für das Verfahren vor dem Eidgenössischen Versicherungsgericht vorerst keine Gerichtskosten erhoben. Ausdrücklich wird der Beschwerdeführer indessen auf Art. 152 Abs. 3 OG aufmerksam gemacht, wonach die durch die Gewährung der unentgeltlichen Rechtspflege begünstigte Partei der Gerichtskasse Ersatz zu leisten haben wird, wenn sie später dazu im Stande ist.

Demnach erkennt das Eidg. Versicherungsgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 4'000.- werden dem Beschwerdeführer auferlegt. Zufolge Gewährung der unentgeltlichen Rechtspflege werden sie einstweilen auf die Gerichtskasse genommen.
2. Die Gerichtskosten von Fr. 4'000.- werden dem Beschwerdeführer auferlegt. Zufolge Gewährung der unentgeltlichen Rechtspflege werden sie einstweilen auf die Gerichtskasse genommen.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, dem Fürsorgeamt der Stadt X._ und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 10. August 2005
Im Namen des Eidgenössischen Versicherungsgerichts
Der Präsident der IV. Kammer: Der Gerichtsschreiber: