Sachverhalt:
A. X._ versuchte, am 7. Mai 2009 beim Grenzübergang Basel-Lysbüchel für eine in Aussicht gestellte Gegenleistung von Euro 1'000.-- eine Tasche mit insgesamt 3.21 kg Kokain (Reinheitsgrad 24 %) in die Schweiz einzuführen.
B. Das Strafgericht Basel-Stadt verurteilte X._ am 13. November 2009 wegen qualifizierter Widerhandlung gegen das Betäubungsmittelgesetz zu einer teilbedingt vollziehbaren Freiheitsstrafe von drei Jahren, unter Anrechnung der erstandenen Untersuchungshaft seit dem 9. Mai 2009. Den bedingt zu vollziehenden Teil der Freiheitsstrafe legte es auf 18 Monate fest.
Die Staatsanwaltschaft Basel-Stadt erhob Appellation und beantragte, X._ sei zu einer Freiheitsstrafe von dreidreiviertel Jahren zu verurteilen.
Das Appellationsgericht des Kantons Basel-Stadt bestätigte mit Urteil vom 9. September 2011 den Entscheid des Strafgerichts Basel-Stadt im Schuldpunkt. Es verurteilte X._ zu einer Freiheitsstrafe von dreieinhalb Jahren, unter Anrechnung der erstandenen Untersuchungs- bzw. Sicherheitshaft.
C. X._ erhebt Beschwerde in Strafsachen. Er beantragt, das Urteil des Appellationsgerichts des Kantons Basel-Stadt sei aufzuheben, und er sei zu einer teilbedingt vollziehbaren Freiheitsstrafe von drei Jahren zu verurteilen, wobei 18 Monate bedingt zu vollziehen seien. Eventualiter sei die Sache zur neuen Beurteilung an das Appellationsgericht zurückzuweisen und dieses anzuweisen, das Strafmass des Strafgerichts Basel-Stadt zu bestätigen. Zudem seien ihm die unentgeltliche Prozessführung zu gewähren und Rechtsanwalt Dr. Christian von Wartburg als unentgeltlicher Rechtsvertreter beizuordnen.

Erwägungen:
1. Verfahrensgegenstand bildet vorliegend einzig die vorinstanzliche Strafzumessung. Der Beschwerdeführer macht insbesondere eine unrichtige Anwendung von Bundesrecht (Art. 47 StGB) und einen Verstoss gegen das Willkürverbot (Art. 9 BV) geltend (Beschwerde, S. 5 ff. N. B).
2. Die Vorinstanz beurteilt die erstinstanzlichen Erwägungen zur Strafzumessung als grundsätzlich nachvollziehbar. Es bestünden indes bezüglich einzelner wesentlicher Strafzumessungsfaktoren Unklarheiten. In Übereinstimmung mit der ersten Instanz sei von einem schweren Verschulden des Beschwerdeführers auszugehen. Dieser habe versucht, 3.21 kg Kokaingemisch in die Schweiz zu schmuggeln. Zwar komme der Drogenmenge im Rahmen der Strafzumessung keine vorrangige Bedeutung zu. Dennoch indiziere ein qualifizierter Drogenhandel im "Mehrkilobereich" regelmässig einen intensiveren verbrecherischen Willen und ein entsprechend schwereres Verschulden, was höhere Strafen rechtfertige. Der Beschwerdeführer habe sich am internationalen Drogenhandel beteiligt. Zwar habe er innerhalb der Organisation nicht einer oberen Hierarchiestufe angehört, jedoch sei davon auszugehen, dass er bei seinem Auftraggeber A._ grosses Vertrauen genossen habe. Dieser habe ihm eine grosse Menge Kokain anvertraut, ohne zu befürchten, dass der Beschwerdeführer sich damit absetze. Auch habe ein relativ ausgiebiger telefonischer Kontakt zwischen den beiden bestanden. Hinzu komme, dass es sich um einen raffiniert getarnten Transport gehandelt habe. Insbesondere habe der Beschwerdeführer verschiedene organisatorische Schritte vor und während der Tat durchlaufen und damit ein wesentlich aktiveres Verhalten an den Tag gelegt als andere Drogenkuriere. Die erste Instanz habe zudem zutreffend berücksichtigt, dass sich der Beschwerdeführer nur um des Geldes willen am Drogenhandel beteiligt habe. Weder habe er aufgrund einer eigenen Drogensucht gehandelt noch habe er sich in einer finanziellen Notlage befunden. Er lebe zwar in bescheidenen finanziellen Verhältnissen, gehe indes gemäss eigenen Angaben in B._ einer Arbeit in einem Reinigungsunternehmen nach. Er habe somit aus eigennützigen Motiven gehandelt und um sich selbst zu bereichern. Die Vorstrafenlosigkeit des Beschwerdeführers könne nicht strafmindernd berücksichtigt werden, da diese gemäss bundesgerichtlicher Rechtsprechung in der Regel neutral zu behandeln sei. Insgesamt erscheine eine Freiheitsstrafe von dreieinhalb Jahren dem Verschulden angemessen. Der Vergleich mit anderen Strafurteilen zeige zudem, dass die von der ersten Instanz ausgesprochene Freiheitsstrafe von drei Jahren, davon 18 Monate bedingt vollziehbar, auffallend milde ausgefallen sei (Urteil, E. 3.3 - 3.7 S. 3 ff.).
Weiter erwägt die Vorinstanz, die erste Instanz habe grundsätzlich eine Freiheitsstrafe von dreieinviertel Jahren als angemessen erachtet. Diese habe sie anschliessend auf drei Jahre reduziert, da dem Beschwerdeführer eine gute Prognose gestellt und der teilbedingte Vollzug gewährt werden könne. Die Vorinstanz erachtet diese Prognose indes als zu positiv. Der Beschwerdeführer habe sich nach seiner Entlassung aus dem Strafvollzug unkooperativ verhalten. Insbesondere habe er sich geweigert, die für die Entlassung notwendigen Dokumente zu Handen des Migrationsamtes zu unterschreiben, und er habe dem Gericht als Wohnadresse lediglich "B._ in Deutschland" angegeben. Weiter sei aufgrund der zahlreichen Kontakte zu seinem Auftraggeber A._ und der Tatsache, dass er diesen während des Strafverfahrens nie belastet habe, nicht davon auszugehen, dass er einen Schlussstrich unter seine Verbindungen zum Drogenmilieu gezogen habe. Reue und Einsicht in das begangene Unrecht seien nicht ersichtlich. Für stabile Verhältnisse seien keine Anhaltspunkte vorhanden. Zudem scheide die Gewährung des bedingten Vollzugs angesichts der Höhe der ausgesprochenen Strafe von dreieinhalb Jahren ohnehin aus. Eine Reduktion auf drei Jahre sei nicht schuldangemessen (Urteil, E. 3.8 und 3.9 S. 6).
3. 3.1 Das Bundesgericht legt seinem Urteil den Sachverhalt zu Grunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Die vorinstanzliche Sachverhaltsfeststellung kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG; vgl. auch Art. 105 Abs. 1 und 2 BGG). Offensichtlich unrichtig im Sinne von Art. 97 Abs. 1 BGG ist die Sachverhaltsfeststellung, wenn sie willkürlich ist (<ref-ruling> E. 2.4 mit Hinweis; vgl. zum Begriff der Willkür <ref-ruling> E. 2.4 mit Hinweisen). Die Rüge der Willkür muss in der Beschwerdeschrift anhand des angefochtenen Entscheids präzise vorgebracht und begründet werden, ansonsten darauf nicht eingetreten wird (Art. 106 Abs. 2 BGG; <ref-ruling> E. 4.2.3 mit Hinweis). Neue Tatsachen und Beweismittel dürfen im Verfahren vor Bundesgericht nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (Art. 99 Abs. 1 BGG). In der Beschwerde ist darzutun, inwiefern die erwähnte Voraussetzung für eine nachträgliche Einreichung von Beweismitteln erfüllt sein soll (<ref-ruling> E. 3).
3. 3.1 Das Bundesgericht legt seinem Urteil den Sachverhalt zu Grunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Die vorinstanzliche Sachverhaltsfeststellung kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG; vgl. auch Art. 105 Abs. 1 und 2 BGG). Offensichtlich unrichtig im Sinne von Art. 97 Abs. 1 BGG ist die Sachverhaltsfeststellung, wenn sie willkürlich ist (<ref-ruling> E. 2.4 mit Hinweis; vgl. zum Begriff der Willkür <ref-ruling> E. 2.4 mit Hinweisen). Die Rüge der Willkür muss in der Beschwerdeschrift anhand des angefochtenen Entscheids präzise vorgebracht und begründet werden, ansonsten darauf nicht eingetreten wird (Art. 106 Abs. 2 BGG; <ref-ruling> E. 4.2.3 mit Hinweis). Neue Tatsachen und Beweismittel dürfen im Verfahren vor Bundesgericht nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (Art. 99 Abs. 1 BGG). In der Beschwerde ist darzutun, inwiefern die erwähnte Voraussetzung für eine nachträgliche Einreichung von Beweismitteln erfüllt sein soll (<ref-ruling> E. 3).
3.2 3.2.1 Der Beschwerdeführer reicht neu Dokumente ein, die Aufschluss über sein Verhalten seit der Entlassung aus dem Strafvollzug am 5. November 2010 (kt. Akten, act. 531) und seine aktuellen Verhältnisse geben sollen. Er macht geltend, er habe keinen Anlass gehabt, die Dokumente bereits im vorinstanzlichen Verfahren einzureichen, da er nicht habe damit rechnen müssen, dass die Vorinstanz die Frage seiner Legalprognose erneut aufwerfen werde (Beschwerde, S. 4 N. 9 ff.). Zudem verletze diese seinen Anspruch auf ein faires Verfahren und verstosse gegen den Vertrauensgrundsatz, wenn sie ihn auf sein Gesuch hin von der Hauptverhandlung dispensiere, um dann die von der ersten Instanz als günstig beurteilte Prognose erneut in Frage zu stellen, obschon die Beschwerdegegnerin diesen Aspekt in ihrer Appellationsbegründung nicht angefochten habe (Beschwerde, S. 3 N. 3 ff. und S. 8 N. g).
3.2.2 Der Beschwerdeführer hätte die neu eingereichten Dokumente bereits im vorinstanzlichen Verfahren ins Recht legen können. Entgegen seiner Ansicht gab nicht erst der vorinstanzliche Entscheid dazu Anlass. Die Appellation der Beschwerdegegnerin bezog sich auf die Strafzumessung (kt. Akten, act. 495 ff.). Die Vorinstanz musste diese demnach erneut vornehmen und dabei die massgeblichen Komponenten berücksichtigen, u.a. die persönlichen Verhältnisse und die Wirkung der Strafe auf das Leben des Beschwerdeführers. Zudem hätte sie sich bei Ausfällung einer Strafe im Bereich der möglichen Gewährung des (teil-)bedingten Vollzugs zur Frage der Legalprognose äussern müssen, da es hierbei auf die aktuellen Verhältnisse des Beschwerdeführers ankommt (<ref-ruling> E. 4.3.3 mit Hinweis). Demzufolge war der Beschwerdeführer gehalten, Belege zu seinen persönlichen Verhältnissen bereits im vorinstanzlichen Verfahren einzureichen, umso mehr, als er schon vor den kantonalen Instanzen vorgebracht hatte, er lebe und arbeite zur Zeit in B._, wo er sich um seinen Sohn kümmere und versuche, eine Existenz aufzubauen, und ein weiterer Strafvollzug würde diese stabilen Verhältnisse gefährden (kt. Akten, act. 448 und act. 555). Die neu ins Recht gelegten Dokumente sind demnach unbeachtlich.
Die Rügen der Verletzung des Anspruchs auf ein faires Verfahren und des Verstosses gegen den Vertrauensgrundsatz sind offensichtlich unbegründet. Für die Wahrung der verfassungsrechtlichen Garantien und damit für die Durchführung eines rechtsstaatlichen Verfahrens ist entscheidend, dass der Angeklagte effektiv die Möglichkeit hatte, an der gerichtlichen Hauptverhandlung teilzunehmen (zum Recht auf persönliche Teilnahme Urteil 6B_471/2010 vom 29. Juli 2010 E. 3.2). Der anwaltlich vertretene Beschwerdeführer liess sich von der Teilnahme an der vorinstanzlichen Hauptverhandlung dispensieren (kt. Akten, act. 540 f.), obwohl er damit rechnen musste, dass seine persönlichen Verhältnisse im Rahmen der Strafzumessung erneut gewichtet würden. Sein Vorbringen, die Vorinstanz habe die Legalprognose in seiner Abwesenheit erneut beurteilt, was seinen Anspruch auf ein faires Verfahren verletze, ist vor diesem Hintergrund mit dem Gebot des Handelns nach Treu und Glauben (Art. 5 Abs. 3 BV) nicht vereinbar und erscheint nahezu rechtsmissbräuchlich. Zudem war sein Rechtsvertreter an der vorinstanzlichen Hauptverhandlung anwesend. Dieser hatte die Möglichkeit, Beweisanträge zu stellen und zur Frage der Strafzumessung Stellung zu nehmen (kt. Akten, act. 553 ff.), womit die Verteidigungsrechte des Beschwerdeführers hinreichend gewahrt wurden.
4. 4.1 Der Beschwerdeführer rügt, die Vorinstanz attestiere ihm zu Unrecht eine ungünstige Legalprognose. Indem sie davon ausgehe, er habe die Kontakte zum Drogenmilieu noch nicht abgebrochen und zeige keine Reue und Einsicht, obwohl er ein umfassendes Geständnis abgelegt habe, verstosse sie gegen das Willkürverbot im Sinne von Art. 9 BV (Beschwerde, S. 7 ff.). Weiter macht er eine unrichtige Anwendung von Art. 47 StGB geltend. Die Vorinstanz habe es unterlassen, die Wirkung der Strafe auf sein Leben zu berücksichtigen. Er versuche zur Zeit in Deutschland eine definitive Aufenthaltsbewilligung zu erhalten und seinem Sohn ein guter Vater zu sein (Beschwerde, S. 6 f.).
4.2 Das Bundesgericht hat die Grundsätze der Strafzumessung nach Art. 47 ff. StGB wiederholt dargelegt (<ref-ruling> E. 5.4 ff. mit Hinweisen). Darauf kann verwiesen werden. Es liegt im Ermessen des Sachgerichts, in welchem Umfang es die verschiedenen Strafzumessungsfaktoren berücksichtigt. Das Bundesgericht greift auf Beschwerde hin nur in die Strafzumessung ein, wenn die Vorinstanz den gesetzlichen Strafrahmen über- oder unterschritten hat, wenn sie von rechtlich nicht massgebenden Kriterien ausgegangen ist oder wesentliche Gesichtspunkte ausser Acht gelassen bzw. in Überschreitung oder Missbrauch ihres Ermessens falsch gewichtet hat (<ref-ruling> E. 5.6 mit Hinweis).
4.3 Wie die Vorinstanz zu Recht erwägt, fällt die ausgesprochene Freiheitsstrafe von dreieinhalb Jahren nicht mehr in den Bereich, in dem der (teil-)bedingte Vollzug möglich ist (Urteil, E. 3.9 S. 6; vgl. insbesondere auch <ref-ruling> E. 3.3). Eine Legalprognose wäre demnach nur zu stellen, wenn sich die ausgesprochene Strafe als zu hoch erwiese und eine Strafe von höchstens drei Jahren angemessen wäre. Die persönlichen Verhältnisse und das Verhalten des Beschwerdeführers nach der Tat und im Strafverfahren sind indes im Rahmen der Strafzumessung nach Art. 47 StGB zu berücksichtigen.
4.4 Es ist nicht zu beanstanden, dass die Vorinstanz das Geständnis des Beschwerdeführers nicht strafmindernd berücksichtigt. Bereits die erste Instanz zog hierzu in Erwägung, er habe nur zugegeben, was ohnehin auf der Hand gelegen habe. Zudem habe er versucht, seine Mittäter zu decken (kt. Akten, act. 465). Geständnisse können grundsätzlich strafmindernd berücksichtigt werden, namentlich wenn sie Ausdruck von Einsicht und Reue des Täters sind (<ref-ruling> E. 2d). Ein Verzicht auf Strafminderung kann sich demgegenüber aufdrängen, wenn das Geständnis die Strafverfolgung nicht erleichtert hat, namentlich weil der Täter nur aufgrund einer erdrückenden Beweislage oder gar erst nach Ausfällung des erstinstanzlichen Urteils geständig war (Urteil 6B_558/2011 vom 21. November 2011 E. 2.3 mit Hinweisen). Der Beschwerdeführer legt nicht substanziiert dar, inwiefern die vorinstanzliche Schlussfolgerung, Reue und Einsicht seien nicht vorhanden, willkürlich sein soll. Damit genügt er den Begründungsanforderungen an eine Willkürrüge nicht. Weiter erschöpft sich sein Vorbringen in unzulässiger appellatorischer Kritik, wenn er, ohne dies näher auszuführen, geltend macht, es sei willkürlich, wenn die Vorinstanz nicht davon ausgehe, dass er einen Schlussstrich unter seine Verbindungen zum Drogenmilieu gezogen habe. Auf eine derartige Rüge ist nicht einzutreten.
4.5 Die Vorinstanz berücksichtigt die Wirkung der Strafe auf das Leben des Beschwerdeführers, insbesondere in familiärer Hinsicht, nicht strafmindernd, was nicht zu beanstanden ist. Der Vollzug einer Freiheitsstrafe bringt es zwangsläufig mit sich, dass der Betroffene aus seiner Umgebung und damit allenfalls aus einem günstigen beruflichen und familiären Umfeld herausgerissen wird. Als unmittelbare gesetzmässige Folge einer unbedingten Freiheitsstrafe muss dies nur bei aussergewöhnlichen Umständen strafmindernd berücksichtigt werden (Urteil 6B_470/2009 vom 23. November 2009 E. 2.5 mit Hinweisen). Den Sachgerichten steht im Rahmen der Strafzumessung ein erheblicher Ermessensspielraum zu. Vorliegend verletzt die Vorinstanz mit dem Verzicht auf eine strafmindernde Berücksichtigung der genannten Umstände ihr Ermessen nicht. Aussergewöhnliche Umstände, die über das hinausgehen, was als unvermeidbare Konsequenz einer freiheitsentziehenden Sanktion gilt, sind nicht ersichtlich.
Auch allfällige negative Auswirkungen auf das aufenthaltsrechtliche Verfahren in Deutschland begründen gemäss bundesgerichtlicher Rechtsprechung grundsätzlich keine erhöhte Strafempfindlichkeit (vgl. dazu Urteil 6B_203/2010 vom 27. Mai 2010 E. 5.3.3).
4.6 Die Vorbringen des Beschwerdeführers sind unbegründet, soweit darauf eingetreten werden kann. Die Vorinstanz zieht die massgeblichen Strafzumessungsfaktoren in Erwägung und gewichtet sie angemessen. Es liegt weder eine Verletzung von Art. 47 StGB vor noch erstellt sie den Sachverhalt willkürlich. Sie bewertet das Verschulden als schwer, was der Beschwerdeführer nicht beanstandet. Vor diesem Hintergrund fiel die ausgesprochene Strafe nicht zu hoch aus.
5. Die Beschwerde ist abzuweisen, soweit darauf einzutreten ist. Das Gesuch um unentgeltliche Rechtspflege und Verbeiständung ist ebenfalls abzuweisen, da die Beschwerde von vornherein aussichtslos war (Art. 64 Abs. 1 und 2 BGG). Bei diesem Ausgang des Verfahrens sind die bundesgerichtlichen Kosten dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 BGG). Seiner finanziellen Lage ist bei der Bemessung der Gerichtsgebühr Rechnung zu tragen (Art. 65 Abs. 2 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Das Gesuch um unentgeltliche Rechtspflege und Verbeiständung wird abgewiesen.
3. Die Gerichtskosten von Fr. 1'600.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Parteien und dem Appellationsgericht des Kantons Basel-Stadt, Ausschuss, schriftlich mitgeteilt.
Lausanne, 9. Februar 2012
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Mathys
Die Gerichtsschreiberin: Horber