Sachverhalt:
A. X._ (geb. 1964) und Y._ (geb. 1954) heirateten im November 1988. Sie wurden Eltern einer Tochter (geb. 1989). Die Ehefrau ist gelernte kaufmännische Angestellte. Nach der Heirat übernahm sie die Betreuung des Haushalts und die Erziehung der Tochter. Ab dem Jahr 2001 war sie wieder in einem Pensum von 50% erwerbstätig. Seit August 2009 arbeitet sie hauptsächlich als Serviceangestellte.
Die Parteien leben seit März 2006 getrennt. Die Folgen des Getrenntlebens mussten gerichtlich geregelt werden.
B. Mit Eingabe vom 15. Juli 2008 leitete der Ehemann beim Zivilgericht Basel-Stadt das Scheidungsverfahren ein. Mit Urteil vom 22. Oktober 2009 schied das Zivilgericht die Ehe und regelte die Scheidungsfolgen. Insbesondere verpflichtete es X._ zu nachehelichen Unterhaltsbeiträgen von Fr. 1'600.-- pro Monat bis zum Erreichen des ordentlichen AHV-Alters von Y._.
C. Die von X._ am 30. Oktober 2009 dagegen erhobene Appellation hiess das Appellationsgericht des Kantons Basel-Stadt mit Urteil vom 28. Januar 2011 teilweise gut und reduzierte die von X._ zu leistenden nachehelichen Unterhaltsbeiträge auf Fr. 1'250.-- pro Monat bis zum Erreichen des ordentlichen AHV-Alters von Y._.
D. Dem Bundesgericht beantragt X._ (nachfolgend Beschwerdeführer) die Aufhebung des Urteils des Appellationsgerichts und die Festsetzung der nachehelichen Unterhaltsbeiträge an Y._ (nachfolgend Beschwerdegegnerin) auf Fr. 300.-- pro Monat für die Dauer von einem Jahr ab Rechtskraft des Scheidungsurteils. Eventualiter sei dieser Unterhaltsbeitrag von monatlich Fr. 300.-- für die Dauer von zwei Jahren ab Rechtskraft des Scheidungsurteils zu sprechen.
Für das bundesgerichtliche Verfahren ersucht der Beschwerdeführer zudem um unentgeltliche Rechtspflege und Verbeiständung.
Das Bundesgericht hat die Vorakten, hingegen keine Vernehmlassungen eingeholt.

Erwägungen:
1. Das angefochtene Urteil des Appellationsgerichts betrifft einen kantonal letztinstanzlichen Endentscheid (Art. 75 und Art. 90 BGG) in einer Scheidungs- und damit in einer Zivilsache (<ref-law>). Einzig umstritten ist die Regelung des nachehelichen Unterhalts und damit eine vermögensrechtliche Angelegenheit (Urteil 5A_311/2010 vom 3. Februar 2011 E. 1.1, nicht publ. in: <ref-ruling>), wobei der massgebliche Streitwert überschritten ist (<ref-law>). Die Beschwerde in Zivilsachen ist damit grundsätzlich zulässig.
2. 2.1 Die Beschwerde ist zu begründen (<ref-law>). Es ist in gedrängter Form durch Auseinandersetzung mit den Erwägungen des angefochtenen Entscheids darzulegen, welche Vorschriften und warum sie von der Vorinstanz verletzt worden sein sollen. Allgemein gehaltene Einwände, die ohne aufgezeigten oder erkennbaren Zusammenhang mit bestimmten Entscheidungsgründen vorgebracht werden, genügen nicht (<ref-ruling> E. 3.3 S. 60). Die Verletzung von Grundrechten prüft das Bundesgericht nur insofern, als eine solche Rüge in der Beschwerde vorgebracht und gehörig begründet wird (<ref-law>). Der Beschwerdeführer muss präzise angeben, welches verfassungsmässige Recht verletzt wurde und substanziiert anhand der Erwägungen des angefochtenen Entscheides darlegen, worin die Verletzung besteht. Das Bundesgericht prüft nur ausdrücklich vorgebrachte, klar und detailliert erhobene sowie, soweit möglich, belegte Rügen (<ref-ruling> E. 2.2 S. 246).
2.2 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Die vorinstanzliche Sachverhaltsfeststellung kann nur gerügt werden, wenn sie offensichtlich unrichtig und damit willkürlich (<ref-ruling> E. 2.2 S. 638) ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG; <ref-ruling> E. 1.2 S. 511 f.). Auf rein appellatorische Kritik am angefochtenen Entscheid tritt das Bundesgericht nicht ein (<ref-ruling> E. 4.4 S. 611 f.).
3. 3.1 Die 1988 geschlossene Ehe der Parteien hat bis zur tatsächlichen Trennung knapp 18 Jahre und bis zur Scheidung 21 Jahre gedauert und aus ihr ging ein gemeinsames Kind hervor. Es ist unbestrittenermassen von einer lebensprägenden Ehe mit einem grundsätzlichen Anspruch beider Ehegatten auf Fortführung der ehelichen Lebenshaltung auszugehen. Das Vertrauen auf den Weiterbestand der bisherigen, frei vereinbarten Aufgabenteilung ist objektiv schutzwürdig (vgl. <ref-ruling> E. 4.1.2 S. 105; <ref-ruling> E. 4.1 S. 61). Der gebührende Unterhalt im Sinne von <ref-law> knüpft an den in der Ehe zuletzt gemeinsam gelebten Standard (zuzüglich scheidungsbedingter Mehrkosten) an, auf dessen Fortführung bei genügenden Mitteln beide Teile Anspruch haben, der aber gleichzeitig auch die Obergrenze des gebührenden Unterhalts bildet (<ref-ruling> E. 4.3 S. 160).
3.2 Für die Berechnung des nachehelichen Unterhalts bei lebensprägenden Ehen ist in drei Schritten vorzugehen: In einem ersten Schritt ist anhand der Feststellung der zuletzt erreichten und gepflegten gemeinsamen Lebenshaltung der gebührende Unterhalt eines jeden Ehegatten zu ermitteln. In einem zweiten Schritt ist zu prüfen, inwieweit jeder Ehegatte seinen gebührenden Unterhalt selbst finanzieren kann. Ist es einem Ehegatten nicht möglich oder nicht zumutbar, dafür selbst aufzukommen und ist er auf Unterhaltsleistungen angewiesen, ist schliesslich in einem dritten Schritt die Leistungsfähigkeit des unterhaltsverpflichteten Ehegatten zu ermitteln und ein angemessener Unterhaltsbeitrag festzusetzen (vgl. zum Ganzen: <ref-ruling> E. 4.2 S. 106 ff.).
3.3 Das Gesetz schreibt dem Sachrichter keine bestimmte Methode zur Unterhaltsbemessung vor (<ref-ruling> E. 3.2.2 S. 414).
Der Richter ist für die Unterhaltsfestsetzung in verschiedener Hinsicht auf sein Ermessen verwiesen (<ref-law>) und das Bundesgericht übt bei der Überprüfung solcher Entscheide eine gewisse Zurückhaltung aus: Es greift nur ein, wenn die kantonale Instanz von dem ihr zustehenden Ermessen falschen Gebrauch gemacht hat, das heisst, wenn sie grundlos von in Lehre und Rechtsprechung anerkannten Grundsätzen abgewichen ist, wenn sie Gesichtspunkte berücksichtigt hat, die keine Rolle hätten spielen dürfen, oder wenn sie umgekehrt rechtserhebliche Umstände ausser Acht gelassen hat. Aufzuheben und zu korrigieren sind ausserdem Ermessensentscheide, die sich als im Ergebnis offensichtlich unbillig, als in stossender Weise ungerecht erweisen (<ref-ruling> E. 3a S. 141).
Der Richter ist für die Unterhaltsfestsetzung in verschiedener Hinsicht auf sein Ermessen verwiesen (<ref-law>) und das Bundesgericht übt bei der Überprüfung solcher Entscheide eine gewisse Zurückhaltung aus: Es greift nur ein, wenn die kantonale Instanz von dem ihr zustehenden Ermessen falschen Gebrauch gemacht hat, das heisst, wenn sie grundlos von in Lehre und Rechtsprechung anerkannten Grundsätzen abgewichen ist, wenn sie Gesichtspunkte berücksichtigt hat, die keine Rolle hätten spielen dürfen, oder wenn sie umgekehrt rechtserhebliche Umstände ausser Acht gelassen hat. Aufzuheben und zu korrigieren sind ausserdem Ermessensentscheide, die sich als im Ergebnis offensichtlich unbillig, als in stossender Weise ungerecht erweisen (<ref-ruling> E. 3a S. 141).
3.4 3.4.1 Das Appellationsgericht hat in einem ersten Schritt zur Bestimmung des gebührenden Unterhalts den zuletzt gelebten Lebensstandard festgestellt. Diesen berechnete es in der Weise, als es (jeweils im Trennungszeitpunkt) dem Gesamteinkommen der Ehegatten von Fr. 5'668.-- pro Monat deren Gesamtbedarf von Fr. 4'193.-- pro Monat gegenüberstellte und so zu einem monatlichen Überschuss von Fr. 1'475.-- gelangte. Sodann bezifferte das Appellationsgericht den aktuellen Bedarf der Beschwerdegegnerin unter Verweis auf das zivilgerichtliche Urteil (<ref-ruling> E. 2c S. 34) auf Fr. 3'337.-- pro Monat und addierte dazu die Hälfte des erwähnten Überschusses von Fr. 1'475.--, damit Fr. 737.--. Es schloss auf einen gebührenden Unterhalt der Beschwerdegegnerin von monatlich Fr. 4'074.--.
3.4.2 In einem zweiten Schritt hat das Appellationsgericht die Eigenversorgungskapazität der Beschwerdegegnerin bestimmt und ein Monatseinkommen von Fr. 2'798.-- (Pensum von insgesamt 70%) berücksichtigt. Eine Erhöhung dieses Pensums erachtete es als nicht zumutbar.
3.4.3 Unter Bejahung der Leistungsfähigkeit des Beschwerdeführers legte das Appellationsgericht den monatlichen Unterhaltsanspruch der Beschwerdegegnerin auf abgerundet Fr. 1'250.-- fest (Fr. 4'074.-- abzüglich Fr. 2'798.--).
3.4.4 Sodann bestimmte das Appellationsgericht den Beginn der Beitragspflicht auf den Zeitpunkt der Rechtskraft des Rentenurteils. Da der Beschwerdegegnerin eine Ausdehnung ihrer Erwerbstätigkeit nicht zumutbar sei, verpflichtete es den Beschwerdeführer zur Leistung des nachehelichen Unterhalts bis zum Eintritt der Beschwerdegegnerin in das ordentliche AHV-Alter.
4. 4.1 Der Beschwerdeführer beanstandet die vom Appellationsgericht gewählte Methode zur Berechnung des nachehelichen Unterhalts nicht. Jedoch wendet er sich in einem ersten Schritt gegen die Berechnung des ehelichen Lebensstandards der Beschwerdegegnerin. Er macht geltend, es sei bei der Berechnung auch die Tochter der Parteien einzubeziehen, die im massgeblichen Trennungszeitpunkt noch bei den Ehegatten gelebt habe. Demzufolge seien zu diesem Zeitpunkt auch das Einkommen der Tochter von monatlich Fr. 380.-- und ein Grundbetrag von Fr. 500.-- pro Monat heranzuziehen. Sodann sei bei der aktuellen Bedarfsberechnung der Beschwerdegegnerin zu beachten, dass die Tochter bei ihr wohne und damit eine Hausgemeinschaft bestehe, weshalb ein reduzierter Grundbetrag und ein Mietanteil der Tochter von monatlich Fr. 500.-- zu berücksichtigen seien.
4.2 Das Appellationsgericht hat in tatsächlicher Hinsicht festgestellt, dass die Tochter der Parteien "demnächst (erneut) ausziehen" soll, da sie bereits heute vor allem bei ihrem Freund lebe. Gegen diese Tatsachenfeststellungen erhebt der Beschwerdeführer keine rechtsgenüglich begründeten Rügen, sondern stellt in der Beschwerde den Sachverhalt einzig aus seiner eigenen Sicht dar, indem er darlegt, die Tochter lebe nach wie vor bei der Beschwerdegegnerin. Soweit seine Ausführungen damit von der Sachverhaltsfeststellung im angefochtenen Entscheid abweichen, ist darauf nicht einzutreten (vgl. E. 2.2 oben; <ref-ruling> E. 1.2 S. 512).
Dasselbe gilt, soweit der Beschwerdeführer bei einzelnen Positionen in seiner Berechnung von anderen Beträgen als das Appellationsgericht ausgeht (z.B. Krankenversicherungsprämie, Ausgaben für öffentlichen Verkehr), ohne dies jedoch zu begründen.
4.3 Der Unterhaltsanspruch fusst bei der lebensprägenden Ehe auf dem Gedanken, dass der unterhaltsberechtigte Ehegatte auf den Fortbestand der Ehe und die damit zusammenhängende Versorgung bauen durfte. Diesfalls ist auch davon auszugehen, dass die durch das wirtschaftliche Selbstständigwerden der Kinder freigewordenen Mittel für beide Ehegatten verwendet worden wären (<ref-ruling> E. 8 S. 580 f.).
4.4 Lebt die Tochter hauptsächlich bei ihrem Freund und steht ihr Auszug aus der Wohnung der Beschwerdegegnerin kurz bevor, hat das Appellationsgericht sein Ermessen nicht in rechtsfehlerhafter Weise ausgeübt, wenn es bei der Berechnung des aktuellen Bedarfs der Beschwerdegegnerin davon ausgegangen ist, diese wohne bereits alleine.
Da zudem die durch das wirtschaftliche Selbstständigwerden der Kinder freigewordenen Mittel ohnehin für beide Ehegatten verwendet worden wären, ist es auch nicht zu beanstanden, wenn das Appellationsgericht bereits im Trennungszeitpunkt die Tochter in die Berechnung nicht mehr miteinbezog (vgl. E. 4.3 oben), zumal der Beschwerdeführer nicht bestreitet, dass die Tochter bereits heute wirtschaftlich selbstständig ist.
5. 5.1 Der Beschwerdeführer wendet sich sodann gegen die appellationsgerichtlichen Ausführungen zur Eigenversorgungskapazität der Beschwerdegegnerin, wonach ihr eine Ausdehnung ihres aktuellen Arbeitspensums von 70% nicht zumutbar sei.
5. 5.1 Der Beschwerdeführer wendet sich sodann gegen die appellationsgerichtlichen Ausführungen zur Eigenversorgungskapazität der Beschwerdegegnerin, wonach ihr eine Ausdehnung ihres aktuellen Arbeitspensums von 70% nicht zumutbar sei.
5.2 5.2.1 Bei der Festsetzung von Unterhaltsbeiträgen darf vom tatsächlichen Leistungsvermögen der Unterhaltsberechtigten (wie auch des Unterhaltsverpflichteten) abgewichen und stattdessen von einem hypothetischen Einkommen ausgegangen werden, sofern dieses zu erreichen zumutbar und möglich ist. Dabei handelt es sich um zwei Voraussetzungen, die kumulativ erfüllt sein müssen. Damit ein Einkommen überhaupt oder ein höheres Einkommen als das tatsächlich erzielte angerechnet werden kann, genügt es nicht, dass der betroffenen Partei weitere Anstrengungen zugemutet werden können. Vielmehr muss es auch möglich sein, aufgrund dieser Anstrengungen ein höheres Einkommen zu erzielen.
Mit Bezug auf das hypothetische Einkommen ist Rechtsfrage, welche Tätigkeit aufzunehmen oder auszudehnen als zumutbar erscheint. Ob die als zumutbar erkannte Tätigkeit möglich und das angenommene Einkommen effektiv erzielbar ist, bildet hingegen Tatfrage, die durch entsprechende Feststellungen oder durch die allgemeine Lebenserfahrung beantwortet wird. Auch im letzteren Fall müssen aber jene Tatsachen als vorhanden festgestellt sein, die eine Anwendung von Erfahrungssätzen überhaupt erst ermöglichen (vgl. zum Ganzen: <ref-ruling> E. 2.3 S. 121; <ref-ruling> E. 4.2.2.2 S. 108; <ref-ruling> E. 4c/bb S. 7).
5.2.2 Das Bundesgericht hat festgehalten, dass einem haushaltsführenden Ehegatten die Wiederaufnahme einer Erwerbstätigkeit dann nicht mehr zuzumuten ist, wenn er im Zeitpunkt der Trennung das 45. Altersjahr erreicht hat. Diese Alterslimite ist jedoch nicht als starre Regel anzusehen. Es handelt sich um eine Vermutung, die durch andere Anhaltspunkte, die für die Wiederaufnahme sprechen, umgestossen werden kann. Die Tendenz geht zudem dahin, die Alterslimite auf 50 Jahre anzuheben (vgl. zum Ganzen: <ref-ruling> E. 4.2.2.2 S. 108 f. mit Hinweisen; zur beschränkten Anwendbarkeit der Alterslimite, wenn es nicht um die Wiederaufnahme, sondern um die Frage der Ausdehnung der Erwerbstätigkeit geht: Urteil 5A_206/2010 vom 21. Juni 2010 E. 5.3.4, in: FamPra.ch 2010 S. 913).
5.3 Das Appellationsgericht hat die aktuellen Einkommen der Beschwerdegegnerin aus ihrer Haupterwerbstätigkeit (Pensum von 50%) als Serviceangestellte in der Höhe von Fr. 1'983.-- pro Monat und aus ihrer Nebenerwerbstätigkeit (Pensum von ungefähr 20%) im Reinigungsdienst von Fr. 815.-- pro Monat, insgesamt damit ein Monatseinkommen von Fr. 2'798.--, berücksichtigt.
Es prüfte sodann, ob der Beschwerdegegnerin eine Ausdehnung ihrer Erwerbstätigkeit zumutbar und möglich wäre. Es stellte fest, dass die Beschwerdegegnerin aus gesundheitlicher Sicht nicht voll leistungsfähig sei. Jedoch liess es die Frage offen, welches Ausmass diese krankheitsbedingten Einschränkungen erreichten und eine Ausdehnung der Erwerbstätigkeit bereits unzumutbar machten, weshalb auf die vom Beschwerdeführer beantragte Einholung eines aktuellen Arztzeugnisses verzichtet werden könne.
Im Zeitpunkt der Trennung (2006) sei die Beschwerdegegnerin 52 Jahre und im Zeitpunkt der Scheidung (2009) 55 Jahre alt gewesen. In diesem Alter sei der Ausbau einer teilzeitlichen Erwerbstätigkeit "gerichtsnotorisch schwierig", was insbesondere für eine Person gelte, die belegtermassen aus gesundheitlichen Gründen nicht voll leistungsfähig sei.
Im Ergebnis sei deshalb der Beschwerdegegnerin eine Erhöhung des aktuellen Pensums von insgesamt 70% aufgrund ihrer "beruflichen Biografie", ihres Alters und ihres Gesundheitszustandes nicht zumutbar. Zudem sei nicht anzunehmen, dass die Beschwerdegegnerin in ihrem zuvor ausgeübten Beruf als Datentypistin (mit dem gleichen Pensum) ein höheres Einkommen erzielen könne.
Im Ergebnis sei deshalb der Beschwerdegegnerin eine Erhöhung des aktuellen Pensums von insgesamt 70% aufgrund ihrer "beruflichen Biografie", ihres Alters und ihres Gesundheitszustandes nicht zumutbar. Zudem sei nicht anzunehmen, dass die Beschwerdegegnerin in ihrem zuvor ausgeübten Beruf als Datentypistin (mit dem gleichen Pensum) ein höheres Einkommen erzielen könne.
5.4 5.4.1 Der Beschwerdeführer wendet sich gegen die appellationsgerichtliche Feststellung zur gesundheitlichen Einschränkung der Leistungsfähigkeit der Beschwerdegegnerin. Diese herabgesetzte Leistungsfähigkeit habe unberücksichtigt zu bleiben, zumal sein Beweisantrag auf Einholung eines ärztlichen Gutachtens abgewiesen worden sei.
5.4.2 Entgegen der Ansicht des Beschwerdeführers hat das Appellationsgericht festgestellt, dass die Beschwerdegegnerin "belegtermassen gesundheitlich nicht voll leistungsfähig war und weiterhin" sei. Offen gelassen hat es jedoch mangels Rechtserheblichkeit nur die Frage, welches Ausmass diese Beeinträchtigung (mit Bezug auf die Arbeitsunfähigkeit) erreicht. Deshalb hat es den Beweisantrag des Beschwerdeführers auf Einholung eines aktuellen Arztzeugnisses abgewiesen.
Der Beschwerdeführer weicht damit von der appellationsgerichtlichen Feststellung einer allgemeinen gesundheitlichen Einschränkung der Beschwerdegegnerin ab, ohne jedoch diese Feststellung überhaupt zu beanstanden (<ref-law>; vgl. E. 2.2 oben). Darauf ist nicht einzutreten.
5.4.3 Auch wenn das Gericht eine Behauptung weder als erwiesen noch als widerlegt erachtet, ist es nach <ref-law> nur verpflichtet, weitere Beweisanträge abzunehmen, wenn diese rechtserhebliche Tatsachen betreffen (<ref-ruling> E. 5.2.2 S. 195; <ref-ruling> E. 2.3 S. 226).
Der Beschwerdeführer geht in seiner Beschwerde auf die appellationsgerichtliche Erwägung, wonach eine genaue Abklärung des Ausmasses der gesundheitlichen Einschränkung der Beschwerdegegnerin (mangels Rechtserheblichkeit) unterbleiben könne, gar nicht ein und begründet die Verletzung von <ref-law> nicht weiter. Darauf ist nicht einzutreten (<ref-law>; vgl. E. 2.1 oben).
Der Beschwerdeführer geht in seiner Beschwerde auf die appellationsgerichtliche Erwägung, wonach eine genaue Abklärung des Ausmasses der gesundheitlichen Einschränkung der Beschwerdegegnerin (mangels Rechtserheblichkeit) unterbleiben könne, gar nicht ein und begründet die Verletzung von <ref-law> nicht weiter. Darauf ist nicht einzutreten (<ref-law>; vgl. E. 2.1 oben).
5.5 5.5.1 Der Beschwerdeführer wendet sich weiter gegen die appellationsgerichtliche Feststellung, wonach nicht davon auszugehen sei, dass die Beschwerdegegnerin in ihrem zuvor ausgeübten Beruf als Datentypistin ein höheres Einkommen erzielen könne als nun als Serviceangestellte und Reinigungskraft.
Der Beschwerdeführer wendet ein, die Beschwerdegegnerin könne in ihrem angestammten Beruf im kaufmännischen Bereich arbeiten und würde dort als Datentypistin ein höheres Einkommen erzielen. Zur Begründung seiner Rüge verweist er auf die Gerichtsnotorietät.
5.5.2 Der Beschwerdeführer unterlässt es erneut, die Feststellung des Appellationsgerichts im beschriebenen Sinn (vgl. E. 2.2 oben) als fehlerhaft zu rügen. Fehlt es an einer Sachverhaltsrüge, ist darauf von vornherein nicht einzutreten (<ref-ruling> E. 1.2 S. 512).
5.5.3 Steht damit in tatsächlicher Hinsicht fest, dass die Beschwerdegegnerin als Datentypistin nicht mehr verdienen könnte, braucht auf die vom Beschwerdeführer ebenfalls erhobenen Einwände, der Beschwerdegegnerin sei aus fachlicher Sicht ohne Weiteres eine Stelle im kaufmännischen Bereich möglich, nicht weiter eingegangen zu werden.
5.5.3 Steht damit in tatsächlicher Hinsicht fest, dass die Beschwerdegegnerin als Datentypistin nicht mehr verdienen könnte, braucht auf die vom Beschwerdeführer ebenfalls erhobenen Einwände, der Beschwerdegegnerin sei aus fachlicher Sicht ohne Weiteres eine Stelle im kaufmännischen Bereich möglich, nicht weiter eingegangen zu werden.
5.6 5.6.1 Schliesslich wendet sich der Beschwerdeführer ebenfalls gegen die appellationsgerichtliche Erwägung, wonach sich eine Ausdehnung der aktuellen Erwerbstätigkeit angesichts des Alters der Beschwerdegegnerin (im Zeitpunkt der Trennung 52 Jahre und im Zeitpunkt der Scheidung 55 Jahre) als schwierig erweise, was gerichtsnotorisch sei und insbesondere für eine Person gelte, die nachgewiesenermassen gesundheitlich nicht voll leistungsfähig sei.
5.6.2 Der Beschwerdeführer hält dem entgegen, dass gemäss den Ergebnissen der Schweizerischen Arbeitskräfteerhebung und der Lohnstrukturerhebung "Erwerbstätigkeit der Personen ab 50 Jahren" der Anteil der über 50 Jahre alten Erwerbspersonen deutlich zunehmen werde. Deshalb sei es auch für die Beschwerdegegnerin durchaus zumutbar, sich im Alter von 52 Jahren noch um eine Erhöhung ihrer Eigenversorgungskapazität zu bemühen.
5.6.3 Es kann offen bleiben, ob sich das Appellationsgericht zurecht auf die Gerichtsnotorietät beruft oder im Ergebnis auf die Lebenserfahrung abstellt, um aus den Gesamtumständen des konkreten Falles beziehungsweise den bewiesenen Indizien auf diesen Sachverhalt zu schliessen (vgl. zur allgemeinen Lebenserfahrung als Rechts- oder Tatfrage: <ref-ruling> E. 2c/bb S. 65; Urteil 8C_776/2008 vom 18. Juni 2009 E. 5.2; BERGER-STEINER, Das Beweismass im Privatrecht, 2008, N. 02.17 ff.).
Der Beschwerdeführer unterlässt es wiederum, eine Rüge gegen die appellationsgerichtliche Sachverhaltsfeststellung zu erheben und begnügt sich mit appellatorischer Kritik. Darauf ist nicht einzutreten (vgl. E. 2.2 oben; <ref-ruling> E. 1.2 S. 512).
5.7 Nachdem die appellationsgerichtlichen Erwägungen zur Zumutbarkeit und Möglichkeit der Ausdehnung der Erwerbstätigkeit nicht zu beanstanden sind, braucht auf die Frage der Dauer der Unterhaltsbeiträge nicht weiter eingegangen zu werden, da der Beschwerdeführer die beantragte Beschränkung auf eine Dauer von ein beziehungsweise zwei Jahren einzig damit begründet, dass der Beschwerdegegnerin ab diesem Zeitpunkt eine Ausdehnung ihrer Erwerbstätigkeit entgegen dem Gesagten zumutbar und möglich sei.
6. Aus den dargelegten Gründen ist die Beschwerde abzuweisen, soweit darauf einzutreten ist. Der Beschwerdeführer wird kostenpflichtig (<ref-law>). Seinem Gesuch um unentgeltliche Rechtspflege und Verbeiständung für das bundesgerichtliche Verfahren kann nicht entsprochen werden, zeigen doch die vorstehenden Erwägungen auf, dass seine Beschwerde von Beginn an keine Aussicht auf Erfolg haben konnte (<ref-law>). Der Beschwerdegegnerin ist kein entschädigungspflichtiger Aufwand entstanden (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Das Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege und Verbeiständung für das bundesgerichtliche Verfahren wird abgewiesen.
3. Die Gerichtskosten von Fr. 1000.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Parteien und dem Appellationsgericht des Kantons Basel-Stadt schriftlich mitgeteilt.
Lausanne, 7. September 2011
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Bettler