Sachverhalt: A. Der aus Serbien (Kosovo) stammende X._ (geb. 21. September 1982) heiratete am 9. August 2002 die in der Schweiz niedergelassene Mazedonierin Y._. Am 3. Oktober 2002 reiste er in die Schweiz ein und erhielt eine Aufenthaltsbewilligung zum Verbleib bei der Ehefrau. Am 9. Juni 2005 wurde der gemeinsame Sohn A._ geboren. Am 7. Juni 2006 erhob die Ehegattin Strafanzeige gegen X._ wegen Tätlichkeit und Drohung, zog die Anzeige aber ungefähr einen Monat später zurück. Ab dem Zeitpunkt der Einreise - ausser vom 1. Januar 2007 bis zum 31. August 2007 - musste X._ von der Sozialhilfe Basel-Stadt unterstützt werden. Am 12. September 2007 wurde er vom Bereich Bevölkerungsdienste und Migration des Kantons Basel-Stadt (Migrationsamt) wegen Bezugs von Fürsorgeleistungen in der Höhe von Fr. 98'357.25 sowie 11 Betreibungen und 31 offenen Verlustscheinen in der Höhe von Fr. 43'202.60 fremdenpolizeilich verwarnt. Mit Urteil des Strafgerichts Basel-Stadt vom 7. März 2008 wurde X._ wegen mehrfachen Betrugs, versuchten Betrugs, Anstiftung zur Sachbeschädigung und Irreführung der Rechtspflege zu einer bedingten Geldstrafe von 180 Tagessätzen zu Fr. 30.-- verurteilt. Am 30. Mai 2008 stellte die Ehegattin gegen X._ Strafantrag wegen Tätlichkeit, weil sie und der gemeinsame Sohn seit Jahren vom Ehemann geschlagen würden. Am Tag darauf zog sie den Strafantrag wieder zurück. B. Am 21. August 2008 ersuchte X._ um Verlängerung der Aufenthaltsbewilligung. Mit Verfügung vom 14. Dezember 2009 wies das Migrationsamt das Gesuch ab. Am 4. Januar 2010 nahm X._ eine vollzeitliche Erwerbstätigkeit auf. Die gegen die Verweigerung der Bewilligungsverlängerung beim Justiz- und Sicherheitsdepartement und darauf beim Appellationsgericht des Kantons Basel-Stadt (als Verwaltungsgericht) erhobenen Rechtsmittel blieben ohne Erfolg. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 29. April 2011 beantragt X._, das Urteil des Appellationsgerichts des Kantons Basel-Stadt vom 3. März 2011 aufzuheben. Zudem stellt er das Begehren, auf die Erhebung eines Kostenvorschusses zu verzichten, eventuell dem Beschwerdeführer die ratenweise Bezahlung der Gerichtskosten zu bewilligen. Das Appellationsgericht Basel-Stadt, das Justiz- und Sicherheitsdepartement des Kantons Basel-Stadt sowie das Bundesamt für Migration beantragen, die Beschwerde abzuweisen. Mit Verfügung vom 3. Mai 2011 hat der Präsident der II. öffentlich-rechtlichen Abteilung der Beschwerde antragsgemäss die aufschiebende Wirkung zuerkannt.