Sachverhalt: Sachverhalt: A. Der 1962 geborene M._ wird seit Jahren vom Fürsorgeamt unterstützt. Am 26. Juli 2001 meldete er sich bei der Invalidenversicherung zum Leistungsbezug an. Mit Verfügung vom 2. April 2003 sprach ihm die IV-Stelle Bern rückwirkend ab 1. Juli 2003 eine ganze Invalidenrente zu. Gleichzeitig teilte sie mit, von dem sich daraus bis und mit April 2003 ergebenden Nachzahlungsbetrag von Fr. 53'712.- würden Fr. 50'472.- dem Fürsorgeamt zwecks Verrechnung mit von diesem für die gleiche Zeit erbrachten Fürsorgeleistungen überwiesen. Daran hielt die IV-Stelle mit Einspracheentscheid vom 4. Juni 2003 fest. A. Der 1962 geborene M._ wird seit Jahren vom Fürsorgeamt unterstützt. Am 26. Juli 2001 meldete er sich bei der Invalidenversicherung zum Leistungsbezug an. Mit Verfügung vom 2. April 2003 sprach ihm die IV-Stelle Bern rückwirkend ab 1. Juli 2003 eine ganze Invalidenrente zu. Gleichzeitig teilte sie mit, von dem sich daraus bis und mit April 2003 ergebenden Nachzahlungsbetrag von Fr. 53'712.- würden Fr. 50'472.- dem Fürsorgeamt zwecks Verrechnung mit von diesem für die gleiche Zeit erbrachten Fürsorgeleistungen überwiesen. Daran hielt die IV-Stelle mit Einspracheentscheid vom 4. Juni 2003 fest. B. Die gegen die vorgesehene Drittauszahlung gerichtete Beschwerde wies das Verwaltungsgericht des Kantons Bern mit Entscheid vom 13. Februar 2004 ab. B. Die gegen die vorgesehene Drittauszahlung gerichtete Beschwerde wies das Verwaltungsgericht des Kantons Bern mit Entscheid vom 13. Februar 2004 ab. C. Mit Verwaltungsgerichtsbeschwerde beantragt M._ sinngemäss die Aufhebung der Drittauszahlung an das Fürsorgeamt. Auf die Aufforderung des Eidgenössischen Versicherungsgerichts hin, innert 14 Tagen einen Kostenvorschuss von Fr. 4'000.- zu bezahlen, ersuchte der Beschwerdeführer mit Schreiben vom 14. April 2004 um Gewährung der unentgeltlichen Rechtspflege. Die IV-Stelle schliesst unter Hinweis auf ihre Stellungnahme im kantonalen Verfahren und den vorinstanzlichen Entscheid auf Abweisung der Verwaltungsgerichtsbeschwerde. Das Fürsorgeamt verweist ebenfalls auf seine Eingabe im kantonalen Verfahren und verzichtet wie auch das Bundesamt für Sozialversicherung auf eine Vernehmlassung.