Sachverhalt: Sachverhalt: A. Die 1915 geborene F._, Bezügerin von Ergänzungsleistungen, verstarb im Februar 2002. Das Amt für Zusatzleistungen zur AHV/IV des Kantons Zürich zahlte in der Folge die Ergänzungsleistungen für die Zeit bis Ende Juli 2002 weiterhin aus. Mit Verfügung vom 5. Dezember 2002 verpflichtete die Verwaltung jedoch W._, einen Sohn der Verstorbenen, zur Rückerstattung des auf die Monate März bis Juli entfallenden Betrags und lehnte es ab, die Rückforderung zu erlassen. Der Bezirksrat Zürich bestätigte dies auf Einsprache hin mit Entscheid vom 16. Oktober 2003. A. Die 1915 geborene F._, Bezügerin von Ergänzungsleistungen, verstarb im Februar 2002. Das Amt für Zusatzleistungen zur AHV/IV des Kantons Zürich zahlte in der Folge die Ergänzungsleistungen für die Zeit bis Ende Juli 2002 weiterhin aus. Mit Verfügung vom 5. Dezember 2002 verpflichtete die Verwaltung jedoch W._, einen Sohn der Verstorbenen, zur Rückerstattung des auf die Monate März bis Juli entfallenden Betrags und lehnte es ab, die Rückforderung zu erlassen. Der Bezirksrat Zürich bestätigte dies auf Einsprache hin mit Entscheid vom 16. Oktober 2003. B. Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich ab (Entscheid vom 28. Mai 2004). B. Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich ab (Entscheid vom 28. Mai 2004). C. Mit Verwaltungsgerichtsbeschwerde beantragt W._ sinngemäss die Aufhebung der Entscheide von Verwaltung und Vorinstanz sowie eventualiter den Erlass der Rückforderung. Das Amt für Zusatzleistungen und der Bezirksrat schliessen auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherung auf eine Vernehmlassung verzichtet.