Sachverhalt:
A. X._ und Z._ lebten im Jahr 2004 in einer nichtehelichen Partnerschaft. Am 4. September 2004 gebar Z._ einen Sohn (Y._), den X._ am 7. Oktober 2004 vor dem Zivilstandsamt anerkannte.
Mit Klage vom 9. Juni 2010 gegen Y._ focht X._ die Kindesanerkennung an. Zudem beantragte er die Gewährung der unentgeltlichen Rechtspflege sowie die Beiordnung einer unentgeltlichen Rechtsbeiständin.
B. Mit Verfügung vom 17. Juni 2010 wies die Amtsgerichtspräsidentin des Richteramtes Olten-Gösgen das Gesuch um unentgeltliche Rechtspflege und Verbeiständung für das Verfahren auf Anfechtung der Kindesanerkennung ab.
Den dagegen von X._ erhobenen Rekurs wies das Obergericht des Kantons Solothurn mit Urteil vom 2. Dezember 2010 ebenso ab (Ziff. 1 des Dispositivs) wie sein Gesuch um unentgeltliche Verbeiständung für das (kostenlose) Rekursverfahren (Ziff. 2 des Dispositivs).
C. Dem Bundesgericht beantragt X._ (nachfolgend Beschwerdeführer) in seiner Beschwerde in Zivilsachen vom 19. Januar 2011 die Aufhebung des obergerichtlichen Urteils und die Gewährung der unentgeltlichen Rechtspflege (und Verbeiständung) für das Verfahren vor der Amtsgerichtspräsidentin (nachfolgend Beschwerdegegnerin) sowie die Beiordnung einer unentgeltlichen Rechtsbeiständin für das Rekursverfahren vor dem Obergericht.
Zudem stellt er für das bundesgerichtliche Verfahren ein Gesuch um unentgeltliche Rechtspflege und Verbeiständung und verlangt die Gewährung der aufschiebenden Wirkung.
Die Beschwerdegegnerin und das Obergericht haben auf eine Stellungnahme zum Gesuch um aufschiebende Wirkung verzichtet. Mit Verfügung vom 28. Januar 2011 hat die Abteilungspräsidentin der Beschwerde die aufschiebende Wirkung zuerkannt.
In der Sache beantragt das Obergericht in seiner Vernehmlassung vom 21. Februar 2011 - wie auch die Beschwerdegegnerin in ihrer Vernehmlassung vom 25. Februar 2011 - die Abweisung der Beschwerde.

Erwägungen:
1. Angefochten ist ein kantonal letztinstanzlicher Entscheid (<ref-law>) über die Verweigerung eines Gesuchs um unentgeltliche Rechtspflege. Es handelt sich um einen Zwischenentscheid, der einen nicht wieder gutzumachenden Nachteil bewirken kann (<ref-law>; <ref-ruling> E. 1.1 S. 131). Nach dem Grundsatz der Einheit des Verfahrens sind Zwischenentscheide mit dem in der Hauptsache zulässigen Rechtsmittel anzufechten (<ref-ruling> E. 3 S. 144). In der Hauptsache geht es um eine Klage auf Anfechtung einer Kindesanerkennung, damit um eine Zivilsache (<ref-law>) in einer nicht vermögensrechtlichen Angelegenheit (Urteil 5A_492/2010 vom 13. Dezember 2010 E. 1, nicht publ. in: <ref-ruling>). Die Beschwerde in Zivilsachen ist damit in der Hauptsache zulässig und kann auch gegen den vorliegenden Zwischenentscheid ergriffen werden.
2. 2.1 Die Beschwerde ist zu begründen (<ref-law>). Mit ihr ist in gedrängter Form durch Auseinandersetzung mit den Erwägungen des angefochtenen Entscheids darzulegen, welche Vorschriften und warum sie von der Vorinstanz verletzt worden sein sollen. Allgemein gehaltene Einwände, die ohne aufgezeigten oder erkennbaren Zusammenhang mit bestimmten Entscheidungsgründen vorgebracht werden, genügen nicht (<ref-ruling> E. 3.3 S. 60). Die Verletzung von Grundrechten prüft das Bundesgericht nur insofern, als eine solche Rüge in der Beschwerde vorgebracht und gehörig begründet wird (<ref-law>). Es muss klar und detailliert anhand der Erwägungen des angefochtenen Entscheides dargelegt werden, inwiefern verfassungsmässige Rechte verletzt worden sein sollen (<ref-ruling> E. 3.2 S. 88).
2.2 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Wird eine Sachverhaltsfeststellung beanstandet, muss in der Beschwerdeschrift dargelegt werden, inwiefern diese Feststellung offensichtlich unrichtig und damit willkürlich ist (<ref-ruling> E. 2.2 S. 638) oder durch eine andere Rechtsverletzung im Sinne von <ref-law> (beispielsweise <ref-law> oder <ref-law>) zustande gekommen ist und inwiefern die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Auf rein appellatorische Kritik am Sachverhalt tritt das Bundesgericht nicht ein (<ref-ruling> E. 5.2.2 S. 322; <ref-ruling> E. 2.2 S. 41).
Die Sachverhaltsfeststellung beziehungsweise Beweiswürdigung erweist sich als willkürlich, wenn das Gericht Sinn und Tragweite eines Beweismittels offensichtlich verkannt hat, wenn es ohne sachlichen Grund ein wichtiges und entscheidwesentliches Beweismittel unberücksichtigt gelassen oder wenn es auf der Grundlage der festgestellten Tatsachen unhaltbare Schlussfolgerungen gezogen hat (<ref-ruling> E. 4.2 S. 560).
3. 3.1 Das Obergericht hat das Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege (für die Anfechtungsklage beziehungsweise das Rekursverfahren) als aussichtslos erachtet.
3.2 3.2.1 Der Beschwerdeführer macht nicht geltend, dass ihm das kantonale Recht weitergehende Ansprüche einräumt, als die in <ref-law> verankerte Minimalgarantie (vgl. <ref-ruling> E. 2.1 S. 133). Danach hat jede Person, die nicht über die erforderlichen Mittel verfügt, Anspruch auf unentgeltliche Rechtspflege, wenn ihr Rechtsbegehren nicht aussichtslos erscheint. Soweit es zur Wahrung ihrer Rechte notwendig ist, hat sie ausserdem Anspruch auf einen unentgeltlichen Rechtsbeistand.
3.2.2 Als aussichtslos sind nach der bundesgerichtlichen Rechtsprechung Begehren anzusehen, bei denen die Gewinnaussichten beträchtlich geringer sind als die Verlustgefahren und die deshalb kaum als ernsthaft bezeichnet werden können. Dagegen gilt ein Begehren nicht als aussichtslos, wenn sich Gewinnaussichten und Verlustgefahren ungefähr die Waage halten oder jene nur wenig geringer sind als diese. Massgebend ist, ob eine Partei, die über die nötigen Mittel verfügt, sich bei vernünftiger Überlegung zu einem Prozess entschliessen würde. Eine Partei soll einen Prozess, den sie auf eigene Rechnung und Gefahr nicht führen würde, nicht deshalb anstrengen können, weil er sie nichts kostet. Ob im Einzelfall genügende Erfolgsaussichten bestehen, beurteilt sich aufgrund einer vorläufigen und summarischen Prüfung der Prozessaussichten (<ref-ruling> E. 5 S. 616 mit Hinweisen). Dabei ist es nicht Aufgabe des Bundesgerichts, dem Sachrichter vorgreifend zu prüfen, ob das vom Beschwerdeführer im kantonalen Verfahren gestellte Begehren zu schützen sei oder nicht, sondern einzig, ob der von ihm verfolgte Rechtsstandpunkt im Rahmen des sachlich Vertretbaren liegt beziehungsweise nicht von vornherein unbegründet erscheint (<ref-ruling> E. 3a S. 115).
3.3 In der Hauptsache geht es um die Anfechtung einer Kindesanerkennung und dabei insbesondere um die Frage der rechtzeitigen Klageanhebung.
3.3.1 Nach der gesetzlichen Regelung kann der Vater, der das Kind anerkannt hat (<ref-law>), die Anerkennung beim Gericht ausnahmsweise dann anfechten, wenn er das Kind in einem Irrtum über seine Vaterschaft anerkannt hat (<ref-law>). Die Klage ist binnen Jahresfrist einzureichen, seitdem der Kläger den Irrtum entdeckte, in jedem Fall aber vor Ablauf von fünf Jahren seit der Anerkennung (<ref-law>).
3.3.2 Verwirkte Fristen können jedoch aus wichtigen Gründen wiederhergestellt werden (<ref-law>; dies sehen im Übrigen auch Art. 256c Abs. 3 und Art. 263 Abs. 3 ZGB vor). Nach der Rechtsprechung des Bundesgerichts ist der Begriff der wichtigen Gründe eng auszulegen (<ref-ruling> E. 6.1.1 S. 595; <ref-ruling> E. 2.2 S. 4).
3.3.3 <ref-law> eröffnet keine zusätzliche Frist. Es obliegt dem Kläger, die Klage so rasch als möglich einzureichen, nachdem der Grund für die Verzögerung weggefallen ist. Grundsätzlich hat dies im Folgemonat nach Wegfall des Verzögerungsgrundes zu geschehen (<ref-ruling> E. 6.1.1 S. 595 mit Hinweisen; <ref-ruling> E. 3.2 S. 5).
4. 4.1 Das Obergericht stellte fest, der Beschwerdeführer habe im August/September 2009 einen DNA-Test in Auftrag gegeben. Aufgrund des Resultats dieses Tests vom 2. September 2009 (Möglichkeit der Vaterschaft von 0%), von dem der Beschwerdeführer im Verlaufe des Septembers 2009 Kenntnis erhalten habe, sei für ihn erwiesen gewesen, dass er nicht der Vater des anerkannten Kindes sei.
Der Beschwerdeführer habe ab dem Jahr 2007 bis Oktober 2009 an einem desolaten Gesundheitszustand gelitten, wie aus den von ihm eingereichten Belegen hervorgehe.
Es liessen sich jedoch jedoch keine Hinweise dafür finden, dass es dem Beschwerdeführer im Zeitraum ab November 2009 bis Juni 2010 unmöglich gewesen sein soll, eine Anfechtungsklage einzureichen. Mit dieser Äusserung stellte das Obergericht in sachverhaltlicher Hinsicht sinngemäss fest, dass sich der Gesundheitszustand des Beschwerdeführers (mangels anderweitiger Nachweise) in dieser Phase und bis Juni 2010 verbessert und stabilisiert hatte.
4.2 Der Beschwerdeführer rügt eine willkürliche Sachverhaltsfeststellung, soweit das Obergericht festgestellt habe, im massgebenden Zeitraum vom September 2009 bis Juni 2010 sei sein "desolater" Gesundheitszustand nicht erwiesen.
4.2 Der Beschwerdeführer rügt eine willkürliche Sachverhaltsfeststellung, soweit das Obergericht festgestellt habe, im massgebenden Zeitraum vom September 2009 bis Juni 2010 sei sein "desolater" Gesundheitszustand nicht erwiesen.
4.3 4.3.1 Er begründet dies einerseits damit, dass das Obergericht ihm in einem anderen Verfahren (betreffend Sicherheitsleistung künftiger Kinderunterhaltsbeiträge und Schuldneranweisung), in dem er als Gesuchsgegner auftrete, im Rekursentscheid vom 9. November 2010 (Beschwerdebeilage 5) "gesundheitliche Probleme, welche sich auf seine Arbeitsfähigkeit auswirken", zugestanden habe.
4.3.2 In der Beschwerde dürfen keine neuen Tatsachen und Beweismittel vorgebracht werden, es sei denn, erst der Entscheid der Vorinstanz habe dazu Anlass gegeben (<ref-law>). Neu sind Tatsachen, die weder im vorangegangenen Verfahren vorgebracht noch von der Vorinstanz festgestellt wurden (<ref-ruling> E. 4.4.3 S. 128 f.).
Es kann offen gelassen werden, ob die vom Beschwerdeführer vor Bundesgericht eingebrachten Tatsachen und Beweismittel im Zusammenhang mit dem erwähnten Rekursentscheid vom 9. November 2010 bereits anlässlich des obergerichtlichen Verfahrens Bestand hatten, aber nicht vorgebracht wurden (<ref-ruling> E. 4.4.3 S. 128 f.) oder ob diese erst nach dem Zeitpunkt entstanden sind, in dem vor Obergericht letztmals Noven vorgebracht werden konnten (Urteil 5A_241/2010 vom 9. November 2010 E. 2.2). Diese neu vor Bundesgericht vorgebrachten Tatsachen und Beweismittel sind damit so oder anders unzulässig und bleiben unberücksichtigt.
Es kann offen gelassen werden, ob die vom Beschwerdeführer vor Bundesgericht eingebrachten Tatsachen und Beweismittel im Zusammenhang mit dem erwähnten Rekursentscheid vom 9. November 2010 bereits anlässlich des obergerichtlichen Verfahrens Bestand hatten, aber nicht vorgebracht wurden (<ref-ruling> E. 4.4.3 S. 128 f.) oder ob diese erst nach dem Zeitpunkt entstanden sind, in dem vor Obergericht letztmals Noven vorgebracht werden konnten (Urteil 5A_241/2010 vom 9. November 2010 E. 2.2). Diese neu vor Bundesgericht vorgebrachten Tatsachen und Beweismittel sind damit so oder anders unzulässig und bleiben unberücksichtigt.
4.4 4.4.1 Andererseits begründet er seine Rüge gegen die obergerichtliche Sachverhaltsfeststellung damit, dass ihn sein desolater Gesundheitszustand, der nach zwei Herzinfarkten und einer im April 2008 vorgenommenen Bypassoperation im September und Oktober 2009 anhaltend schlecht gewesen sei, an einer sofortigen Klageeinreichung nach Erhalt des DNA-Tests gehindert habe. Bereits nach geringsten körperlichen Anstrengungen habe er sich erschöpft gefühlt und habe gerade knapp die Energie aufgebracht, um sich jeden zweiten Tag in das Spital zu begeben. Der kontinuierliche gesundheitliche Niedergang habe im Frühling 2010 mit dem diagnostizierten "Lungenemphysem mit Granulom und Verdacht auf Sarkoidose" einen neuen Tiefpunkt erreicht. In den Monaten September 2009 bis Januar 2010 sei zum eigenen körperlichen Verfall auch noch die Sorge um die erkrankte Adoptivmutter gekommen, die am 19. Januar 2010 verstorben sei.
Die dem Obergericht vorliegenden Unterlagen (Rekursbeilagen 4 - 9) zeigten nach Ansicht des Beschwerdeführers auf, dass er seit dem Jahr 2006 mit gravierenden, ab dem Jahr 2008 mit äusserst gravierenden gesundheitlichen Problemen und einem sich trotz Operationen und Behandlungen verschlechternden Gesundheitszustand zu kämpfen hatte.
4.4.2 Diese Ausführungen des Beschwerdeführers an das Bundesgericht (Ziff. 4b S. 7 der Beschwerde) entsprechen in weiten Teilen wortwörtlich seiner Rekursbegründung (S. 5 des Rekurses vom 29. Juni 2010 sowie letzter Absatz der Eingabe vom 2. September 2010, in welcher der Beschwerdeführer dem Obergericht die Rekursbeilagen 4 - 9 einreichte). Er setzt sich damit in keiner Weise mit den Erwägungen des Obergerichts auseinander und legt nicht - auch nicht in gedrängter Form - dar, inwiefern sich diese als willkürlich erweisen sollen (vgl. <ref-ruling> E. 2.3 S. 246 f.).
Auf die Rüge der willkürlichen Sachverhaltsfeststellung ist nicht einzutreten (<ref-law> i.V.m. <ref-law>).
5. 5.1 Das Obergericht hat die Anfechtungsklage als aussichtslos beurteilt, da der behauptete Gesundheitszustand des Beschwerdeführers, der (nur) für den Zeitraum September 2009 und Oktober 2009 nachgewiesen sei, die verspätete Einreichung der Anfechtungsklage im Juni 2010 nicht entschuldige.
5.2 Der Beschwerdeführer rügt insoweit eine Verletzung seines Anspruchs auf unentgeltliche Rechtspflege gemäss <ref-law>. Er begründet seine Rüge damit, dass sein schlechter Gesundheitszustand "mit den eingereichten Unterlagen entgegen der Auffassung der Vorinstanz belegt" sei. Dies habe umso mehr zu gelten, als sich die herrschende Lehre in der Anerkennung von Hindernissen für die Anfechtungsklage grosszügig zeige. Entgegen der Formulierung des Obergerichts verlange denn <ref-law> auch nicht die absolute Unmöglichkeit der Klageeinreichung, sondern lediglich wichtige Gründe, welche die Verspätung der Klageanhebung als entschuldbar erscheinen liessen. Zu berücksichtigen sei auch, dass er die einjährige relative Verwirkungsfrist nach <ref-law> eingehalten und lediglich die absolute fünfjährige Frist aus wichtigen Gründen versäumt habe.
Die Anfechtungsklage könne damit nicht als aussichtslos bezeichnet werden.
5.3 Das Obergericht hat festgehalten, dass der Beschwerdeführer noch innerhalb der fünfjährigen Verwirkungsfrist (gestützt auf das Resultat des DNA-Tests) Gewissheit darüber hatte, nicht der Vater des Kindes zu sein und damit ein allfälliger Irrtum über seine Vaterschaft (vgl. dazu 5C.130/2003 vom 14. Oktober 2003 E. 1.2, in: FamPra.ch 2004 S. 143 f.) von vornherein keinen wichtigen Grund für die Nichteinhaltung der Frist gemäss <ref-law> darstellen kann.
Hingegen qualifizierte das Obergericht die schwere Krankheit des Beschwerdeführers als wichtigen Grund (der nicht nur die Nichteinhaltung der Frist, sondern auch das Zuwarten bis zum Zeitpunkt der Klageeinreichung entschuldigen muss), was im Rahmen der vorläufigen und summarischen Prüfung der Prozessaussichten nicht zu beanstanden ist (vgl. auch Hegnauer, Berner Kommentar, 4. Aufl., N. 51 und N. 59 zu <ref-law>).
Kann auf die Sachverhaltsrüge wie erwähnt (E. 4 oben) nicht eingetreten werden und ist damit für das Bundesgericht (<ref-law>) in sachverhaltlicher Hinsicht der schlechte Gesundheitszustand des Beschwerdeführers nur bis Oktober 2009, im massgebenden Zeitraum bis Juni 2010 aber gerade nicht erstellt, erweist sich damit die Rüge gegen die obergerichtliche Bejahung der Aussichtslosigkeit der Anfechtungsklage, die der Beschwerdeführer erst im Juni 2010 eingereicht hat, als unbegründet.
5.4 Bei diesem Ergebnis ist auch nicht ersichtlich, inwieweit die obergerichtliche Abweisung des Gesuchs um unentgeltliche Verbeiständung für das Rekursverfahren (Ziff. 2 des Dispositivs) eine Verletzung von <ref-law> darstellen soll, zumal der Beschwerdeführer sich zur Frage der Aussichtslosigkeit seines Rekurses in der Beschwerde nicht weiter äussert (vgl. zur Beurteilung der Aussichtslosigkeit im Rechtsmittelverfahren beispielsweise Urteil 5A_107/2010 vom 30. April 2010 E. 2.3 mit Hinweisen).
5.5 Das Obergericht verletzte folglich <ref-law> nicht, indem es einen Anspruch auf unentgeltliche Rechtspflege wegen Aussichtslosigkeit verneinte. Damit erübrigen sich weitere Ausführungen zur Mittellosigkeit, die der Beschwerdeführer in seiner Beschwerde ebenfalls thematisiert.
6. Aus den dargelegten Gründen muss die Beschwerde abgewiesen werden, soweit darauf einzutreten ist. Der Beschwerdeführer wird kostenpflichtig (<ref-law>). Seinem Gesuch um unentgeltliche Rechtspflege für das bundesgerichtliche Verfahren kann nicht entsprochen werden, zeigen doch die vorstehenden Erwägungen auf, dass seine Beschwerde von Beginn an keine Aussichten auf Erfolg haben konnte (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Das Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege wird abgewiesen.
3. Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Solothurn, Zivilkammer, schriftlich mitgeteilt.
Lausanne, 19. April 2011
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Der Gerichtsschreiber:
Hohl Bettler