Sachverhalt:
A. X._ ist geschieden und hat mit der Mutter des Kindes die gemeinsame elterliche Sorge über ihre Tochter T._, geb. 1991. Pro Woche wohnte die Tochter entweder von Freitag bis Dienstag oder Montag und Dienstag bei X._. Er bezahlte "in Berücksichtigung seines höheren Einkommens und angesichts der Tatsache, dass die Ehefrau das gemeinsame Kind mehr betreut", monatliche Unterhaltszahlungen zugunsten seiner Tochter von etwas über Fr. 1'200.-- (total Fr. 15'012.-- pro 2005).
B. Für die Steuerperiode 2005 zog X._ die Unterhaltsbeiträge ab, beanspruchte den Kinderabzug bzw. den Abzug für ein Kind im gleichen Haushalt (nur Kantonssteuer) sowie den Tarif B (für Verheiratete und Alleinstehende mit Kindern). In der Veranlagungsverfügung vom 3. Januar 2008 akzeptierte die Steuerverwaltung den Abzug der Kinderalimente, strich jedoch die weiteren Kinderabzüge und gewährte den Tarif A (für Alleinstehende). Mit Einspracheentscheid vom 10. April 2008 wurde daran festgehalten. Obwohl X._ in der Folge auf den Abzug der Unterhaltsbeiträge verzichtete, dafür die Kinderabzüge und den Vorzugstarif beanspruchte, wurde ihm mit Rekurs- und Beschwerdeentscheid der Steuerrekurskommission vom 20. November 2008 sowie mit Beschwerdeentscheid des Appellationsgerichts vom 3. November 2009 nur der Abzug für Unterhaltsbeiträge gewährt.
C. Gegen das Urteil des Appellationsgerichts des Kantons Basel-Stadt vom 3. November 2009 (versandt am 26. April 2010) führt X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag, das vorinstanzliche Urteil aufzuheben und ihm die beantragten Kinderabzüge sowie den Tarif B - unter Verzicht auf den Abzug für Kinderalimente - zu gewähren. Er rügt sinngemäss eine willkürliche Anwendung des kantonalen Rechts und eine Verletzung von Bundesrecht. Das Appellationsgericht des Kantons Basel-Stadt und die Eidgenössische Steuerverwaltung beantragen die Abweisung der Beschwerde, während die Steuerverwaltung Basel-Stadt auf eine Stellungnahme verzichtet.
Erwägungen:
1. 1.1 Die Beschwerde richtet sich gegen einen letztinstanzlichen kantonalen Entscheid in einer Angelegenheit des öffentlichen Rechts. Eine Ausnahme im Sinne von Art. 83 BGG ist nicht gegeben. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist daher zulässig (Art. 82 Abs. 1 lit. a, Art. 86 Abs. 1 lit. d BGG in Verbindung mit Art. 146 DBG [SR 642.11] bzw. mit Art. 73 des Bundesgesetzes vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden [StHG; SR 642.14]). Auf die form- und fristgerecht eingereichte Beschwerde des gemäss Art. 89 Abs. 1 BGG legitimierten Beschwerdeführers ist grundsätzlich einzutreten.
1.2 Mit der Beschwerde kann eine Rechtsverletzung nach Art. 95 und 96 BGG geltend gemacht werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist weder an die in der Beschwerde gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann die Beschwerde aus einem anderen als dem angerufenen Grund gutheissen, und es kann eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Das Bundesgericht legt sodann seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (Art. 105 Abs. 1 BGG). Deren Sachverhaltsfeststellungen können nur berichtigt werden, wenn sie offensichtlich unrichtig sind oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruhen (Art. 105 Abs. 2 bzw. Art. 97 Abs. 1 BGG).
1.3 Gemäss Art. 42 Abs. 1 BGG hat die Rechtsschrift die Begehren und deren Begründung zu enthalten; im Rahmen der Begründung ist in gedrängter Form darzulegen, inwiefern der angefochtene Entscheid Recht verletzt (Art. 42 Abs. 2 BGG). Die Vorbringen müssen sachbezogen sein, damit aus der Beschwerdeschrift ersichtlich ist, in welchen Punkten und weshalb der angefochtene Entscheid beanstandet wird. Das Bundesgericht prüft die Verletzung von Grundrechten und von kantonalem Recht nur insofern, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG; BGE 133 II 249 E. 1.4.2 S. 254). Eine diesen Anforderungen (Art. 42 Abs. 2 bzw. Art. 106 Abs. 2 BGG) genügende Begründung ist hier nur bedingt zu erkennen, beschränkt sich doch die Beschwerdeschrift im Wesentlichen darauf, die schon vor den Vorinstanzen vorgebrachten Argumente - rein appellatorisch - zu wiederholen. Inwiefern das angefochtene Urteil zudem an einem offensichtlichen Mangel leiden soll (vgl. BGE 134 II 244 E. 2.2 S. 246 mit Hinweisen), ist kaum zu erkennen. Insoweit kann auf die Beschwerde in öffentlich-rechtlichen Angelegenheiten nicht eingetreten werden.
2. Die vorliegend strittige Sachlage unterliegt einerseits dem Bundesrecht, welches zunächst zu behandeln ist (E. 2.1 - 2.3), andererseits dem kantonalen Recht (E. 3).
2.1 Von den steuerbaren Einkünften werden gemäss Art. 33 Abs. 1 lit. c DBG u.a. die Unterhaltsbeiträge an einen Elternteil für die unter dessen elterlicher Sorge stehenden Kinder abgezogen, und vom Reineinkommen sind nach Art. 213 Abs. 1 lit. a DBG (in der für die Steuerperiode 2005 massgebenden Fassung) Fr. 5'600.-- für jedes minderjährige Kind, für dessen Unterhalt der Steuerpflichtige sorgt, absetzbar. Gemäss Art. 214 Abs. 2 DBG haben u.a. geschiedene Steuerpflichtige, die mit Kindern im gleichen Haushalt zusammenleben und deren Unterhalt zur Hauptsache bestreiten, Anspruch auf einen Sondertarif.
2.2 Im Weiteren ist auf das Kreisschreiben Nr. 7 der Eidgenössischen Steuerverwaltung vom 20. Januar 2000 betreffend Familienbesteuerung nach dem Bundesgesetz über die direkte Bundessteuer (DBG) zu verweisen: Übertragung der gemeinsamen elterlichen Sorge auf unverheiratete Eltern und die gemeinsame Ausübung der elterlichen Sorge durch getrennte oder geschiedene Eltern (in: ASA [2000] 68, S. 570 ff. [nachfolgend: Kreisschreiben]). Danach darf die gemeinsame elterliche Sorge nicht dazu führen, dass für das gleiche Kind der gleiche Abzug mehrfach gewährt wird (S. 571). Dieses "Kumulationsverbot" bezüglich des Kinderabzugs hat das Bundesgericht ausdrücklich bestätigt (BGE 133 II 305 E. 6.8 S. 312 f.; Urteil 2A.683/2006 vom 4. September 2007 E. 6.2, in: RtiD 2008 I 957 ff., 964; vgl. auch Urteil 2C_580/2009 vom 1. April 2010 E. 4.1). Befindet sich das Kind in alternierender Obhut beider Elternteile und fliessen keine Beiträge von einem Elternteil an den anderen für den Unterhalt des Kindes oder sind die Beiträge beider Eltern gleich hoch, dann ist das Ausmass der Obhut jedes Elternteils das massgebende Kriterium (Kreisschreiben, S. 573). Auch diese Lösung hat das Bundesgericht als gesetzeskonform erachtet (BGE 133 II 305 E. 8.5 S. 317; Urteil 2A.683/2006 vom 4. September 2007 E. 7.2, in: RtiD 2008 I 957 ff., 966; vgl. auch Urteil 2C_580/2009 vom 1. April 2010 E. 4.1).
Die Situation ist freilich anders, wenn ein Elternteil dem anderen - trotz gemeinsamer elterlicher Sorge - für ein Kind Alimente ausrichtet. Mit der Zahlung von Unterhaltsbeiträgen kommt es zu einer Umverteilung von Ressourcen. Der Unterhaltsbeiträge empfangende Elternteil setzt diese zusätzlich zu seinen eigenen Mitteln für die Bedürfnisse des Kindes ein. Soweit er bei minderjährigen Kindern die erhaltenen Unterhaltsbeiträge als Einkommen versteuern muss, ist steuerrechtlich davon auszugehen, dass er zur Hauptsache für den Unterhalt der Kinder sorgt und damit Anspruch auf den Sozialabzug für Kinder sowie auf den Sondertarif hat. In diesem Fall geht die mit der Zahlung von Unterhaltsbeiträgen geschaffene Umverteilung vor. Es wäre systemwidrig, den einen Elternteil die Unterhaltsbeiträge als Einkommen versteuern zu lassen und ihm den Kinderabzug und den Sondertarif zu gewähren, dem Unterhaltsbeiträge leistenden Elternteil dagegen keinen Alimentenabzug zuzulassen, dafür - nochmals - den Kinderabzug und den Sondertarif zu gewähren. Eine solche Lösung verstiesse gegen das erwähnte "Kumulationsverbot" und hätte zudem bezüglich der Kinderalimente eine verpönte virtuelle Doppelbesteuerung zur Folge (BGE 118 Ia 277 E. 2 S. 279 f.). Die gesetzliche Ordnung ist für den Beschwerdeführer verbindlich, und er kann nicht frei dasjenige Korrektiv wählen, das ihm in seiner besonderen Situation die grösste Steuerentlastung offeriert. Sollte sich daraus eine nicht vorgesehene Verschiebung der Steuerlast unter den getrennt lebenden Eltern ergeben, so wäre die Scheidungskonvention anzupassen.
2.3 Dass beim Beschwerdeführer nach der gesetzlichen Ordnung nur der Abzug der Unterhaltsbeiträge in Frage kommt und er dafür weder den Kinderabzug noch den Sondertarif beanspruchen kann, erhellt auch aus dem ab 1. Januar 2011 gültigen Recht der direkten Bundessteuer. Mit dem Bundesgesetz vom 25. September 2009 über die steuerliche Entlastung von Familien mit Kindern (AS 2010 455) wird in Art. 35 Abs. 1 lit. a bzw. Art. 213 Abs. 1 lit. a DBG ein zweiter Halbsatz eingefügt, der folgendermassen lautet:
"werden die Eltern getrennt besteuert, so wird der Kinderabzug hälftig aufgeteilt, wenn das Kind unter gemeinsamer elterlicher Sorge steht und keine Unterhaltsbeiträge nach Artikel 33 Absatz 2 Buchstabe c für das Kind geltend gemacht werden;"
Daraus ergibt sich, dass eine Aufteilung (nicht die volle Gewährung) des Kinderabzugs in Zukunft bei gemeinsamer elterlicher Sorge nur dann in Frage kommen wird, wenn keine Kinderunterhaltsbeiträge geleistet werden (BBl 2009 4766). Dieser - hier noch nicht anwendbare - neue Zusatz bestätigt das "Kumulationsverbot" erneut, indem derselbe Sozialabzug für das gleiche Subjekt nicht von mehreren Personen geltend gemacht werden darf, sondern er kann neu allenfalls aufgeteilt werden. Andererseits bestätigt das Gesetz implizit, dass mit der Zahlung von Unterhaltsbeiträgen eine Verschiebung der Ressourcen einhergeht.
3. 3.1 Von den Einkünften werden gemäss § 32 Abs. 1 lit. c des Gesetzes über die direkten Steuern des Kantons Basel-Stadt vom 12. April 2000 (StG; SG BS 640.100) u.a. die Unterhaltsbeiträge an einen Elternteil für minderjährige Kinder abgezogen, und vom Einkommen sind nach § 35 Abs. 1 lit. a StG Fr. 6'800.-- für jedes minderjährige, in häuslicher Gemeinschaft mit der steuerpflichtigen Person lebende Kind, an dessen Unterhalt sie zur Hauptsache beiträgt, absetzbar; pro Kind kann der Abzug nur einmal beansprucht werden; gemäss § 35 Abs. 1 lit. d StG werden vom Einkommen abgezogen Fr. 3'800.-- für Alleinstehende mit eigenem Haushalt, sofern sie allein mit minderjährigen Kindern in häuslicher Gemeinschaft leben und an deren Unterhalt zur Hauptsache beitragen. Nach § 36 Abs. 2 StG ist der Vorzugstarif B anwendbar auf Alleinstehende, die mit Kindern zusammenleben und deren Unterhalt zur Hauptsache bestreiten.
3.2 Das zur direkten Bundessteuer Ausgeführte gilt hier gleichermassen, obwohl die gesetzliche Regelung teilweise von jener der direkten Bundessteuer abweicht: nur wer zur Hauptsache für den Unterhalt des minderjährigen Kindes aufkommt, hat Anspruch auf die Sozialabzüge für Kinder und den Vorzugstarif. Dies ist hier die Mutter des Kindes, weil sie die beträchtlichen Kinderalimente zu ihren eigenen Mitteln für die Bedürfnisse des Kindes einsetzt. Dafür kann sie der Beschwerdeführer von Gesetzes wegen von seinem Einkommen absetzen. Diese gesetzliche Regelung kann er nicht durch Verzicht auf den Unterhaltsabzug aus den Angeln heben.
4. 4.1 Zusammenfassend hat die Vorinstanz den beantragten Kinderabzug und Vorzugstarif - unter Verzicht auf den Alimentenabzug - zu Recht nicht anerkannt, weshalb die Beschwerde abzuweisen ist, soweit darauf eingetreten werden kann.
4.2 Entsprechend diesem Verfahrensausgang sind die Kosten des bundesgerichtlichen Verfahrens dem Beschwerdeführer aufzuerlegen (Art. 65 f. BGG). Eine Parteientschädigung ist nicht auszurichten (Art. 68 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten betreffend die direkte Bundessteuer wird abgewiesen, soweit darauf einzutreten ist.
2. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten betreffend die Staatssteuer wird abgewiesen, soweit darauf einzutreten ist.
3. Die Gerichtskosten von Fr. 1'500.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Verfahrensbeteiligten, dem Appellationsgericht des Kantons Basel-Stadt als Verwaltungsgericht und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 11. Oktober 2010
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Errass