Sachverhalt: A. Mit Verfügung vom 14. September 2009 erklärte das Appellationsgericht (als Verwaltungsgericht) des Kantons Basel-Stadt einen ihm vom Regierungsrat gestützt auf § 42 des kantonalen Organisationsgesetzes (OG) zur direkten Erledigung zugewiesenen Rekurs von X._ (geb. 1964) betreffend Ausweisung aus der Schweiz und Erlöschen der Aufenthaltsbewilligung (u.a. wegen Straffälligkeit [3 1/2 Jahre Zuchthaus wegen Vergewaltigung] und Schuldenwirtschaft) nach Massgabe von § 30 Abs. 2 des kantonalen Verwaltungsrechtspflegegesetzes (VRPG) für dahingefallen, nachdem X._ den am 21. August 2009 einverlangten Kostenvorschuss von Fr. 1'200.-- nicht fristgerecht bis zum 4. September, sondern erst am 11. September 2009 bezahlt hatte. B. Mit Eingabe vom 18. September 2009 stellte X._ beim Appellationsgericht ein Gesuch um Wiedereinsetzung in den vorigen Stand und ersuchte um Wiedererwägung der Verfügung vom 14. September 2009. Zur Begründung führte er aus, aufgrund einer psychischen Erkrankung, die sich Ende August/Anfang September akut verschärft habe, sei er nicht in der Lage gewesen, rechtzeitig auf die Kostenvorschussverfügung vom 24. August 2009 zu reagieren und den Vorschuss fristgerecht einzuzahlen. Am 25. September 2009 reichte er einen Bericht des behandelnden Arztes Dr. Y._ (Facharzt für Psychiatrie und Psychotherapie FMH) vom 23. September 2009 nach, welcher bei seinem Patienten folgende Diagnosen stellt: - Chronifizierte (anhaltende) depressive Störung, gegenwärtig mittelgradig, ohne somatisches Syndrom (ICD-10:F32.1) - Anpassungsstörung mit Beeinträchtigung von anderen Gefühlen (ICD-10:F43.23). Mit Urteil vom 2. November 2009 wies das Appellationsgericht das Wiedereinsetzungsgesuch ab. Das begründete Urteil versandte das Gericht am 15. Januar 2010. C. Mit Eingabe vom 10. Februar 2010 führt X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht mit den Anträgen, das letztgenannte Urteil aufzuheben und die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. Gleichzeitig wird um unentgeltliche Prozessführung ersucht. Das Justiz- und Sicherheitsdepartement des Kantons Basel-Stadt beantragt Abweisung der Beschwerde. Das Appellationsgericht (als Verwaltungsgericht) schliesst auf Abweisung der Beschwerde, soweit darauf einzutreten sei.