Sachverhalt:
A. X._ liess am 5. und 6. November 2007 seinen Sohn im Stadtspital Triemli Zürich ambulant behandeln. Am 7. Januar 2008 stellte ihm das Stadtspital Triemli eine Schlussbabrechnung in Höhe von Fr. 690.35 zu. Nachdem X._ die Rechnung trotz zweimaliger Mahnung nicht beglichen hatte, wurde er am 28. Mai 2008 ein erstes Mal betrieben. Auf Rechtsvorschlag vom 3. Juni 2008 hin verlangte das Stadtspital Triemli - nach mehr als einem Jahr - beim Gesundheits- und Umweltdepartement der Stadt Zürich definitive Rechtsöffnung. Diese wurde am 9. Juni 2009 zuerst gewährt, aufgrund einer Einsprache von X._ beim Stadtrat Zürich jedoch mit Verfügung vom 17. August 2009 wiedererwägungsweise gestützt auf <ref-law> aufgehoben.
B. Am 21. September 2009 betrieb das Triemlispital den Beschwerdeführer erneut, wogegen dieser gleichentags Rechtsvorschlag erhob. Mit Verfügung vom 6. November 2009 verpflichtete das Gesundheits- und Umweltdepartement der Stadt Zürich X._ zur Bezahlung des Rechnungsbetrages von Fr. 690.35 und hob den Rechtsvorschlag auf. Die dagegen erhobenen kantonalen Rechtsmittel an den Stadtrat und den Bezirksrat Zürich sowie an das Verwaltungsgericht des Kantons Zürich blieben erfolglos.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 26. April 2011 verlangt X._, das Urteil des Verwaltungsgerichts vom 3. März 2011, der Beschluss des Bezirksrates Zürich vom 16. Dezember 2010 sowie die Beseitung des Rechtsvorschlages im Betreibungsverfahren vom 21. September 2009 seien aufzuheben. Zudem sei ihm die unentgeltliche Prozessführung zu gewähren.
Die Stadt Zürich beantragt die Abweisung der Beschwerde, eventuell die Rückweisung an die Vorinstanz. Der Bezirksrat Zürich liess sich nicht vernehmen. Das Verwaltungsgericht des Kantons Zürich schliesst auf Abweisung, soweit auf die Beschwerde einzutreten sei.
D. Der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts hat der Beschwerde mit Verfügung vom 6. Juni 2011 antragsgemäss die aufschiebende Wirkung zuerkannt.

Erwägungen:
1. 1.1 Gegen den kantonal letztinstanzlichen Entscheid des Verwaltungsgerichts ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten zulässig (Art. 82 lit. a und Art. 86 Abs. 1 lit. d sowie Art. 90 BGG), da keine Ausnahme nach <ref-law> vorliegt. Der Beschwerdeführer ist gemäss <ref-law> zur Beschwerde legitimiert.
Unzulässig ist der Antrag, die Entscheide der Vorinstanzen des Verwaltungsgerichts seien aufzuheben. Diese sind durch das zuletzt ergangene Urteil ersetzt worden (Devolutiveffekt) und gelten als inhaltlich mitangefochten (<ref-ruling> E. 1.4 S. 144 mit Hinweis).
1.2 Mit der Beschwerde kann unter anderem die Verletzung von Völkerrecht und Bundesrecht gerügt werden (<ref-law>). Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>), doch prüft es unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (<ref-law>) grundsätzlich nur die geltend gemachten Rechtswidrigkeiten (<ref-ruling> E. 1.4.1 S. 254). Die Verletzung von Grundrechten prüft das Bundesgericht nur insofern, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (<ref-law>).
1.3 Der Beschwerdeführer rügt die Verletzung von Art. 6 Ziff. 1 EMRK, weil er sich in seinem Anspruch auf ein unabhängiges Gericht und eine öffentliche Verhandlung verletzt sieht. Darauf ist im Folgenden zurückzukommen (vgl. E. 3 hiernach).
1.4 Weiter rügt er <ref-law> als verletzt, allerdings ohne einlässlich zu begründen, inwiefern der angefochtene Entscheid willkürlich sei. In Anwendung von <ref-law> ist auf diese Rüge nicht weiter einzugehen.
1.5 Der Beschwerdeführer rügt sinngemäss auch die Verletzung von aArt. 79 SchKG: Einerseits fehle ein tauglicher Rechtsöffnungstitel, andererseits müsse das Rechtsöffnungsverfahren vor dem Zivilgericht statt vor dem Verwaltungsgericht erfolgen. Zur Begründung verweist er im Wesentlichen auf seine Eingaben vor den kantonalen Instanzen. Ob damit die Anforderungen an die Begründungsdichte gemäss <ref-law> erfüllt sind, ist zweifelhaft, denn der pauschale Verweis auf Rechtsschriften in anderen Verfahren ist in der Regel nicht zulässig (<ref-ruling> E. 1.3 S. 306 mit Hinweis). Ob hier eine den Begründungsanforderungen genügende Eingabe vorliegt, kann jedoch offen bleiben, weil die Beschwerde ohnehin abzuweisen ist (vgl. E. 4 hiernach).
2. 2.1 Neue Tatsachen und Beweismittel dürfen im Verfahren vor Bundesgericht nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>). Neue Begehren sind unzulässig (<ref-law>, vgl. <ref-ruling> E. 2.2 S. 196). Neue rechtliche Argumente sind dagegen im Verfahren vor Bundesgericht grundsätzlich zulässig, wenn hierdurch der Streitgegenstand nicht erweitert wird (vgl. Urteil 2C_101/2007 vom 22. August 2007 E. 2 mit Hinweis, in: URP 2008 S. 16).
2.2 Der Beschwerdeführer bestreitet erstmals vor Bundesgericht den Bestand und die Höhe der in Betreibung gesetzten Forderung für die Spitalgebühren, welche er nunmehr als "völlig überrissen" bezeichnet. Im kantonalen Verfahren hat er dagegen einzig verfahrens- bzw. betreibungsrechtliche Einwände geltend gemacht, namentlich indem er die Zuständigkeit der Verwaltungsbehörden zur Beseitigung des Rechtsvorschlages bestritten hat. Der Bestand der Forderung wird freilich durch die Aufhebung der Betreibung nicht beeinflusst. Damit hat sich der Streitgegenstand auf eine rein betreibungsrechtliche Frage beschränkt, während die materielle Begründetheit der Forderung als solcher vor der Vorinstanz unangefochten geblieben ist. Indem nunmehr auch der Bestand und die Höhe der Forderung angefochten sind, erweitert der Beschwerdeführer in unzulässiger Weise den Streitgegenstand, weshalb in Anwendung von <ref-law> auf die entsprechenden Argumente nicht eingetreten werden kann.
Aus dem Gesagten folgt, dass auf die Beschwerde einzutreten ist, soweit die Verletzung von Art. 6 Ziff. 1 EMRK sowie aArt. 79 SchKG gerügt wird.
3. Der Beschwerdeführer rügt sinngemäss, er sei in seinem Anspruch auf ein konventionskonformes Verfahren im Sinne von Art. 6 Ziff. 1 EMRK verletzt worden, namentlich weil die Streitsache nicht von einem unabhängigen Gericht in einer öffentlichen Verhandlung beurteilt wurde.
3.1 Nach Art. 6 Ziff. 1 EMRK hat jedermann Anspruch darauf, dass seine Sache in billiger Weise öffentlich und innerhalb einer angemessenen Frist von einem unabhängigen und unparteiischen, auf Gesetz beruhenden Gericht gehört wird, das über zivilrechtliche Ansprüche und Verpflichtungen oder über die Stichhaltigkeit der gegen ihn erhobenen strafrechtlichen Anklage zu entscheiden hat (Satz 1). Von Art. 6 Ziff. 1 EMRK werden nicht nur zivilrechtliche Streitigkeiten im eigentlichen Sinne erfasst, sondern auch Verwaltungsakte hoheitlich handelnder Behörden, die massgeblich in private Rechtspositionen eingreifen (<ref-ruling> E. 2.1 S. 332 mit Hinweisen). Der Anspruch auf eine (mündliche) öffentliche Verhandlung setzt nach der Rechtsprechung einen klaren und unmissverständlichen Parteiantrag vor dem erstinstanzlichen Gericht voraus (<ref-ruling> E. 1 S. 280 f.; <ref-ruling> E. 2.3 S. 333; je mit Hinweisen). Fehlt es an einem solchen, lässt sich in der Regel gegen ein ausschliesslich schriftliches Verfahren nichts einwenden, es sei denn, wesentliche öffentliche Interessen würden eine mündliche Verhandlung gebieten. Insbesondere in Verfahren, die nach der Praxis des betroffenen Kantons üblicherweise ausschliesslich in Schriftform durchgeführt werden, muss sich die Partei, die eine öffentliche Verhandlung wünscht, der Notwendigkeit eines entsprechenden Antrags bewusst sein, weshalb dessen Fehlen als Verzicht zu werten ist (<ref-ruling> E. 3a S. 55).
3.2 Die umstrittene Forderung betrifft das Entgelt für eine medizinische Behandlung des Sohnes des Beschwerdeführers in einem öffentlichen Spital der Stadt Zürich. Die Rechtsnatur solcher Forderungen bestimmt sich in erster Linie nach dem kantonalen bzw. kommunalen Recht (vgl. <ref-ruling> E. 2 S. 103). Im vorliegenden Zusammenhang einschlägig ist die Aufnahme- und Taxordnung für die Stadtspitäler Waid und Triemli vom 17. Dezember 2003 (Aufnahme- und Taxordnung; Amtliche Sammlung der Stadt Zürich Nr. 813.110). Gemäss dessen Art. 1 Abs. 1 lit. b erhebt das Gemeinwesen Gebühren (Taxen) für die erbrachten Spitalleistungen. Nach der Konzeption der Aufnahme- und Taxordnung handelt es sich bei der hier umstrittenen Forderung folglich um eine verwaltungsrechtlich begründete Kausalabgabe in der Form der Benutzungsgebühr. Allerdings kann vorliegend die Frage offen bleiben, ob Streitigkeiten über derartige Geldforderungen unter Art. 6 Ziff. 1 EMRK fallen, weil der Beschwerdeführer im Verfahren vor der ersten gerichtlichen Beschwerdeinstanz - dem Verwaltungsgericht - keinen klaren und unmissverständlichen Antrag auf die Durchführung einer mündlichen öffentlichen Verhandlung geäussert hat. Seine Kritik hat sich im Wesentlichen darauf beschränkt, die Zuständigkeit der Verwaltungsbehörden für die Beseitigung des Rechtsvorschlags zu bestreiten (vgl. E. 4.1 hiernach). Auch im verwaltungsinternen Beschwerdeverfahren an den Bezirksrat Zürich vom 27. Mai 2010 hat der Beschwerdeführer zwar gerügt, der Stadtrat habe Art. 6 Ziff. 1 EMRK verletzt, nicht jedoch ausdrücklich eine mündliche öffentliche Verhandlung vor dem Bezirksrat verlangt. Für die Durchführung einer mündlichen Verhandlung sprechen auch keine wesentlichen öffentlichen Interessen, zumal nach der Praxis des Kantons Zürich Verwaltungsgerichtsverfahren in der Regel schriftlich durchgeführt werden. Im Übrigen ist festzuhalten, dass eine konventionskonforme gerichtliche Beurteilung der streitigen Forderung sichergestellt war, stellt doch das Verwaltungsgericht - entgegen der nicht weiter substantiierten Kritik des Beschwerdeführers - ohne Weiteres ein unabhängiges Gericht im Sinne von Art. 6 Ziff. 1 EMRK dar.
3.3 Der Beschwerdeführer bringt weiter vor, die ihm auferlegten Verfahrenskosten hätten pönalen Charakter, weshalb die Streitsache in den Geltungsbereich von Art. 6 Ziff. 1 EMRK falle. Damit verkennt er jedoch, dass die Verfahrenskosten nicht begangenes (strafrechtlich relevantes) Unrecht vergelten, sondern das Entgelt für die von ihm in Gang gesetzten staatlichen Justizverfahren darstellen (vgl. RHINOW/ KOLLER/KISS/THURNHERR/BRÜHL-MOSER, Öffentliches Prozessrecht, 2. Aufl. 2010, Rz. 970). Mithin handelt es sich um Verwaltungsgebühren, welche nicht in den Anwendungsbereich von Art. 6 Ziff. 1 EMRK fallen (<ref-ruling> E. 2.1 S. 146 mit Hinweisen; Urteil 2P.41/2002 vom 10. Juni 2003 E. 5.1 mit Hinweisen auf die Praxis des Europäischen Gerichtshofes für Menschenrechte, in: Pra 2004 Nr. 2 S. 9).
4. 4.1 Der Beschwerdeführer rügt sinngemäss, das Rechtsöffnungsverfahren hätte gemäss aArt. 79 SchKG vor dem Zivilgericht stattfinden müssen. Wie jedoch die Vorinstanz hinlänglich ausgeführt hat, ist gegen den von der Stadt Zürich eingeschlagenen Verfahrensweg nichts einzuwenden. Bei der streitigen Forderung handelt es sich um eine Benutzungsgebühr für die Beanspruchung von Dienstleistungen einer öffentlich-rechtlichen Anstalt (vgl. E. 3.2 hiervor), mithin also um eine öffentlich-rechtliche Geldforderung, welche grundsätzlich im Verwaltungsverfahren geltend zu machen ist. Art. 29 Abs. 1 der Aufnahme- und Taxordnung schreibt vor, dass offene Taxrechnungen durch Betreibung einzufordern sind. Wird dagegen Rechtsvorschlag erhoben, so wird die Gebührenhöhe in Form einer anfechtbaren Verfügung festgelegt und gleichzeitig der Rechtsvorschlag aufgehoben. Der Schuldner kann darauf materielle Einwände gegen Bestand bzw. Höhe der verfügten Forderung im verwaltungsinternen Beschwerdeverfahren und anschliessend vor dem Verwaltungsgericht vorbringen. Wie die Vorinstanz zu Recht erkannte, entspricht dieses Verfahren aArt. 79 SchKG, weshalb sich die Rüge, der Rechtsvorschlag sei auf dem Zivilweg zu beseitigen, als unbegründet erweist. Die Kritik des Beschwerdeführers, es sei praktisch unmöglich, sich im Verwaltungsverfahren gegen derartige Forderungen zu wehren, geht offensichtlich fehl. Im Übrigen ist festzuhalten, dass er im Verlauf des kantonalen Verfahrens zwar erfolglos die Zustellung der ursprünglichen Rechnung, die Zuständigkeit der Behörden und die Zulässigkeit des Verwaltungsverfahrens an sich bestritt, jedoch zu keinem Zeitpunkt Einwände gegen Bestand und Höhe der Forderung vorbrachte, obgleich er hierfür zahlreiche Gelegenheiten gehabt hätte.
4.2 Der Beschwerdeführer macht schliesslich sinngemäss geltend, die Aufnahme- und Taxordnung sei kein geeigneter Rechtsöffnungstitel für die bestrittene Forderung. Damit verkennt er jedoch, dass der genannte Erlass nur die abstrakte Grundlage für die hier strittige Gebührenverfügung bildet. Diese konkretisiert, welche Leistungen im Einzelnen erbracht wurden und bildet - sobald sie nach Abschluss des Rechtsmittelverfahrens in Rechtskraft erwachsen ist - den Rechtsöffnungstitel. Im Übrigen ist die Aufnahme- und Taxordnung in die Gesetzessammlung der Stadt Zürich aufgenommen worden und somit öffentlich und für jedermann einsehbar.
5. Die Beschwerde erweist sich damit als unbegründet und ist abzuweisen, soweit darauf eingetreten werden kann.
Der Beschwerdeführer stellt ein Gesuch um unentgeltliche Rechtspflege. Nach <ref-law> wird diese bei Bedürftigkeit gewährt, sofern die Rechtsbegehren nicht aussichtslos erscheinen. Der Beschwerdeführer versäumte es jedoch - trotz entsprechender Aufforderung vom 28. April 2011 - den Bedürftigkeitsnachweis zu erbringen. Infolgedessen ist das Gesuch abzuweisen. Hingegen rechtfertigt es sich, die Gerichtsgebühr mit Blick auf den geringen Streitwert entsprechend tiefer zu bemessen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird abgewiesen, soweit darauf einzutreten ist.
2. Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3. Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird dem Beschwerdeführer, der Stadt Zürich, dem Bezirksrat Zürich sowie dem Verwaltungsgericht des Kantons Zürich schriftlich mitgeteilt.
Lausanne, 29. September 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Winiger