Sachverhalt:
A. X._ wurde am 13. September 1971 geboren und stammt aus dem Kosovo. Am 8. Februar 1989 gelangte er erstmals in die Schweiz und reichte hier ein Asylgesuch ein. Nachdem dieses rechtskräftig abgewiesen worden war, wurde er im August 1990 ausgeschafft. Am 4. Januar 1991 heiratete er in Pristina die Schweizer Bürgerin Y._. In der Folge erhielt er eine Aufenthaltsbewilligung und reiste am 12. April 1991 wiederum in die Schweiz ein.
Am 6. November 1995 stellte X._ ein Gesuch um erleichterte Einbürgerung, welches jedoch abgewiesen wurde. Am 13. Mai 2000 stellte er ein zweites Gesuch. Im Einbürgerungsverfahren unterzeichneten er und seine Ehefrau am 21. Oktober 2002 eine Erklärung, wonach sie in stabiler ehelicher Gemeinschaft zusammenlebten und weder Trennungs- noch Scheidungsabsichten bestünden. Gleichzeitig nahmen sie zur Kenntnis, dass die erleichterte Einbürgerung nicht möglich sei, wenn vor oder während des Einbürgerungsverfahrens einer der Ehegatten die Trennung oder Scheidung beantragt habe oder keine tatsächliche eheliche Gemeinschaft mehr bestehe. Am 22. Januar 2003 wurde X._ das Schweizer Bürgerrecht verliehen.
X._ zog am 18. September 2003 aus der ehelichen Wohnung aus und am 6. Oktober 2003 reichten die Eheleute ein gemeinsames Scheidungsbegehren ein. Seit dem 27. Januar 2004 ist die Ehe rechtskräftig geschieden.
Mit Verfügung vom 22. Januar 2008 erklärte das Bundesamt für Migration (BFM) die erleichterte Einbürgerung für nichtig. X._ focht diese Verfügung an. Mit Urteil vom 14. Oktober 2010 wies das Bundesverwaltungsgericht die Beschwerde ab.
B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht vom 22. November 2010 beantragt X._, die Verfügung des BFM sowie die damit erhobene Gebühr von Fr. 400.-- seien aufzuheben.
Das Bundesverwaltungsgericht hat auf eine Vernehmlassung verzichtet. Das BFM beantragt die Abweisung der Beschwerde.

Erwägungen:
1. 1.1 Die Rechtsbegehren des Beschwerdeführers betreffen die Verfügung des BFM. Diese ist durch das Urteil des Bundesverwaltungsgerichts ersetzt worden (Devolutiveffekt) und gilt als inhaltlich mitangefochten (<ref-ruling> E. 1.4 S. 144 mit Hinweis). Die Auslegung der Rechtsbegehren nach Treu und Glauben, insbesondere im Licht der dazu gegebenen Begründung, ergibt indessen, dass sich die Beschwerde auch gegen das vorinstanzliche Urteil richtet (vgl. <ref-ruling> E. 1 S. 336 ff. mit Hinweisen; <ref-ruling> E. 1 S. 127; <ref-ruling> E. 2b S. 109, so auch <ref-ruling> unveröffentlichte E. 3.2.1 mit Hinweisen). Bei diesem Urteil handelt es sich um einen Endentscheid des Bundesverwaltungsgerichts (Art. 86 Abs. 1 lit. a, Art. 90 BGG), der die Nichtigerklärung einer erleichterten Einbürgerung gestützt auf Art. 27 Abs. 1 des Bundesgesetzes vom 29. September 1952 über Erwerb und Verlust des Schweizer Bürgerrechts (BüG; SR 141.0) betrifft, somit eine öffentlich-rechtliche Angelegenheit im Sinne von <ref-law>. Die Ausnahme der ordentlichen Einbürgerung gemäss <ref-law> erstreckt sich nicht auf die Nichtigerklärung der Einbürgerung. Der Beschwerdeführer hat sich am Verfahren vor der Vorinstanz beteiligt und ist beschwerdelegitimiert (<ref-law>). Insoweit als sich die Beschwerde, nach Treu und Glauben ausgelegt, gegen das Urteil des Bundesverwaltungsgerichts richtet, ist darauf im Grundsatz einzutreten.
1.2 Nicht einzutreten ist indessen auf die Rüge, das BFM habe das Willkürverbot verletzt, da es nicht nach entlastenden Elementen gesucht habe. Der Beschwerdeführer begründet diese Rüge nicht weiter und kommt damit seiner Begründungsobliegenheit gemäss Art. 42 Abs. 2 und Art. 106 Abs. 2 BGG nicht nach.
2. 2.1 Der Beschwerdeführer rügt eine Verletzung von <ref-law>. Er ist der Ansicht, das BFM habe die in Abs. 1 dieser Bestimmung vorgesehene Frist von fünf Jahren nicht eingehalten. Bei der Erteilung des Bürgerrechts handle es sich um einen rechtsgestaltenden Akt. Deshalb habe die Frist für die Nichtigerklärung am 22. Januar 2003 zu laufen begonnen und am 21. Januar 2008 geendet. Die Verfügung der Nichtigkeit der erleichterten Einbürgerung durch das BFM vom 22. Januar 2008 sei zu spät erfolgt. Dies ergebe auch eine analoge Anwendung von Art. 47 Abs. 3 lit. b AuG (SR 142.20).
2.2 Nach <ref-law> beginnt eine nach Tagen berechnete Frist, die der Mitteilung an die Parteien bedarf, an dem auf ihre Mitteilung folgenden Tag zu laufen. Ob der Fristenlauf durch einen rechtsgestaltenden Akt ausgelöst wird, ist dabei unerheblich. Ist die Frist nach Monaten oder Jahren bestimmt, endet sie nach der Rechtsprechung an dem Tag, der jenem des Beginns des Fristenlaufs entspricht, bei dessen Fehlen am letzten des Monats (Urteil 1C_336/2010 vom 28. September 2010 E. 3.1 mit Hinweisen). Ob Art. 47 Abs. 3 lit. b AuG eine hiervon abweichende Fristberechnung statuiert, braucht nicht untersucht zu werden. Diese Bestimmung ist vorliegend nicht anwendbar.
Die Einbürgerungsverfügung datiert vom 22. Januar 2003 und gelangte gleichentags zur Versendung. In welchem Zeitpunkt sie dem Beschwerdeführer zugegangen ist, ist nicht bekannt. Zu seinen Gunsten ist deshalb davon auszugehen, dass sie ihm tags darauf, am 23. Januar 2003, zuging. Die fünfjährige Verwirkungsfrist nach <ref-law> begann demnach am nächstfolgenden Tag, dem 24. Januar 2003, zu laufen und endete am 24. Januar 2008. Das BFM verfügte die Nichtigerklärung am 22. Januar 2008. Die Verfügung ging dem damaligen Rechtsvertreter am 23. Januar 2008 zu, mithin noch innert der fünfjährigen Frist gemäss <ref-law> (vgl. Urteil 1C_336/2010 vom 28. September 2010 E. 3.2 mit Hinweisen). Die Rüge der Verletzung dieser Bestimmung ist deshalb unbegründet.
3. 3.1 Der Beschwerdeführer erblickt eine Verletzung des rechtlichen Gehörs im Umstand, dass er gegenüber der Behörde seines Heimatkantons, die nach <ref-law> die Zustimmung zur Nichtigerklärung erteilt hatte, nie Stellung nehmen konnte.
3.2 Aus dem Anspruch auf rechtliches Gehör (<ref-law>) ergibt sich das Recht der Betroffenen, sich vor Erlass eines Entscheids zur Sache zu äussern, erhebliche Beweise beizubringen, Einsicht in die Akten zu nehmen, mit erheblichen Beweisanträgen gehört zu werden und an der Erhebung wesentlicher Beweise entweder mitzuwirken oder sich zumindest zum Beweisergebnis zu äussern, wenn dieses geeignet ist, den Entscheid zu beeinflussen. Der Anspruch auf rechtliches Gehör umfasst als Mitwirkungsrecht somit alle Befugnisse, die einer Partei einzuräumen sind, damit sie in einem Verfahren ihren Standpunkt wirksam zur Geltung bringen kann (<ref-ruling> E. 5.1 S. 293; <ref-ruling> E. 3.2 S. 494; <ref-ruling> E. 2b S. 56; <ref-ruling> E. 4b S. 268; je mit Hinweisen).
Die kantonale Zustimmungserkärung nach <ref-law> ist lediglich eine Voraussetzung für die Nichtigerklärung der Einbürgerung. Im Gegensatz zur Verfügung des Bundesamts kommt ihr keine rechtsgestaltende Wirkung zu. Aus diesem Grund ist sie weder dem von der Nichtigerklärung Betroffenen zu eröffnen, noch ist jener durch die kantonale Behörde vorgängig anzuhören (Urteil 1C_324/2009 vom 16. November 2009 E. 2.2 ). Das rechtliche Gehör wurde deshalb vorliegend nicht verletzt.
4. 4.1 Der Beschwerdeführer macht geltend, die Voraussetzungen der Nichtigerklärung der erleichterten Einbürgerung nach <ref-law> seien nicht erfüllt. Er habe die Einbürgerung nicht erschlichen.
4.2 Gemäss <ref-law> kann ein Ausländer nach der Eheschliessung mit einem Schweizer Bürger ein Gesuch um erleichterte Einbürgerung stellen, wenn er insgesamt fünf Jahre in der Schweiz gewohnt hat, seit einem Jahr hier wohnt und seit drei Jahren in ehelicher Gemeinschaft mit dem Schweizer Bürger lebt. Das Bundesgericht geht davon aus, dass eine eheliche Gemeinschaft im Sinne von <ref-law> nicht nur das formelle Bestehen einer Ehe, sondern eine tatsächliche Lebensgemeinschaft voraussetzt. Eine solche Gemeinschaft kann nur bejaht werden, wenn der gemeinsame Wille zu einer stabilen ehelichen Gemeinschaft intakt ist. Gemäss konstanter Praxis muss sowohl im Zeitpunkt der Gesuchseinreichung als auch im Zeitpunkt des Einbürgerungsentscheids eine tatsächliche Lebensgemeinschaft bestehen, die Gewähr für die Stabilität der Ehe bietet. Zweifel bezüglich eines solchen Willens sind angebracht, wenn kurze Zeit nach der erleichterten Einbürgerung die Trennung erfolgt oder die Scheidung eingeleitet wird. Der Gesetzgeber wollte dem ausländischen Ehegatten einer Schweizer Bürgerin oder eines Schweizer Bürgers die erleichterte Einbürgerung ermöglichen, um die Einheit des Bürgerrechts der Ehegatten im Hinblick auf ihre gemeinsame Zukunft zu fördern.
Nach <ref-law> kann die Einbürgerung vom Bundesamt für Migration mit Zustimmung der Behörde des Heimatkantons innert fünf Jahren nichtig erklärt werden, wenn sie durch falsche Angaben oder Verheimlichung erheblicher Tatsachen erschlichen worden ist. Das blosse Fehlen der Einbürgerungsvoraussetzungen genügt daher nicht. Die Nichtigerklärung der Einbürgerung setzt vielmehr voraus, dass diese "erschlichen", das heisst mit einem unlauteren und täuschenden Verhalten erwirkt worden ist. Arglist im Sinne des strafrechtlichen Betrugstatbestands ist nicht erforderlich. Immerhin ist notwendig, dass der Betroffene bewusst falsche Angaben macht bzw. die Behörde bewusst in einem falschen Glauben lässt und so den Vorwurf auf sich zieht, es unterlassen zu haben, die Behörde über eine erhebliche Tatsache zu informieren (<ref-ruling> E. 2 S. 164 f. mit Hinweisen).
4.3 In verfahrensrechtlicher Hinsicht richtet sich die erleichterte Einbürgerung nach den Bestimmungen des Bundesgesetzes vom 20. Dezember 1968 über das Verwaltungsverfahren (VwVG; SR 172.021). Danach gilt der Untersuchungsgrundsatz, wonach die Behörde den Sachverhalt von Amtes wegen festzustellen hat (<ref-law>). Bei der Nichtigerklärung einer erleichterten Einbürgerung ist deshalb von der Behörde zu untersuchen, ob die Ehe im massgeblichen Zeitpunkt der Gesuchseinreichung und der Einbürgerung tatsächlich gelebt wurde. Da es dabei im Wesentlichen um innere Vorgänge geht, die der Verwaltung oft nicht bekannt und schwierig zu beweisen sind, darf sie von bekannten Tatsachen (Vermutungsbasis) auf unbekannte (Vermutungsfolge) schliessen. Es handelt sich dabei um Wahrscheinlichkeitsfolgerungen, die aufgrund der Lebenserfahrung gezogen werden. Der Betroffene ist bei der Sachverhaltsabklärung mitwirkungspflichtig.
Die tatsächliche Vermutung betrifft die Beweiswürdigung. Da sie keine Umkehrung der Beweislast bewirkt, muss der Betroffene nicht den Beweis des Gegenteils erbringen. Vielmehr genügt der Nachweis von Zweifeln an der Richtigkeit der Indizien und der daraus gezogenen Schlussfolgerung. Die Beweislast dafür, dass eine eheliche Gemeinschaft im Sinne von <ref-law> im massgeblichen Zeitpunkt der Gesuchseinreichung und der Einbürgerung nicht oder nicht mehr besteht, liegt deshalb bei der Verwaltung.
Begründet die kurze Zeitspanne zwischen der erleichterten Einbürgerung einerseits und der Trennung oder Einleitung einer Scheidung andererseits die tatsächliche Vermutung, es habe schon bei der Einbürgerung keine stabile eheliche Gemeinschaft mehr bestanden, so muss der Betroffene somit nicht das Gegenteil beweisen. Es genügt, dass er einen oder mehrere Gründe angibt, die es plausibel erscheinen lassen, dass er im Zeitpunkt seiner Erklärung mit dem Schweizer Ehepartner in einer stabilen ehelichen Gemeinschaft lebte und dass er diesbezüglich nicht gelogen hat. Ein solcher Grund kann entweder ein ausserordentliches Ereignis sein, das zum raschen Zerfall des Willens zur ehelichen Gemeinschaft im Anschluss an die Einbürgerung führte, oder die betroffene Person kann darlegen, aus welchem Grund sie die Schwere der ehelichen Probleme nicht erkannte und im Zeitpunkt, als sie die Erklärung unterzeichnete, den wirklichen Willen hatte, mit dem Schweizer Ehepartner auch weiterhin in einer stabilen ehelichen Gemeinschaft zu leben (<ref-ruling> E. 3 S. 165 f. mit Hinweisen).
4.4 Zu prüfen ist, ob der Beschwerdeführer im Zeitpunkt der Einbürgerung einen intakten Ehewillen besass und ob er auf das Fortbestehen einer stabilen ehelichen Gemeinschaft vertrauen durfte. Da der Beschwerdeführer bereits am 18. September 2003 (das heisst knapp acht Monate nach der erleichterten Einbürgerung) aus der ehelichen Wohnung auszog und die Ehegatten am 6. Oktober 2003 ein gemeinsames Scheidungsbegehren einreichten, geht das Bundesverwaltungsgericht richtigerweise von der Vermutung aus, dass dies nicht zutraf.
4.5 Der Beschwerdeführer argumentiert im Wesentlichen, die Ehe habe über 13 Jahre gehalten. Auch die Geburt eines ausserehelichen Kindes im Jahre 1999 habe sie nicht erschüttern können. Gegen die Vermutung einer Scheinehe spreche auch, dass er mittellos gewesen sei, weshalb Geld nicht der Anreiz für das Aufrechterhalten der Ehe habe sein können. Auch habe seine Ex-Ehefrau nach der Scheidung ihren Nachnamen beibehalten. Überhaupt seien die familiären Schwierigkeiten während der Ehe aktenkundig gewesen, insbesondere, dass die Ehegatten vorübergehend an unterschiedlichen Orten wohnten. Weshalb das BFM nicht mehr von einer stabilen ehelichen Gemeinschaft ausging, als am 26. Dezember 2003 das zweite Kind geboren wurde, sei unverständlich.
4.6 Die Ausführungen des Beschwerdeführers sind nicht geeignet, die Vermutung umzustossen, dass im Zeitpunkt der Einbürgerung keine tatsächlich gelebte Ehe bestand. Weder macht er ein ausserordentliches Ereignis geltend, das zum raschen Zerfall des Willens zur ehelichen Gemeinschaft im Anschluss an die Einbürgerung geführt haben könnte, noch behauptet er, die ehelichen Probleme nicht erkannt zu haben. Dass die aussereheliche Geburt des ersten Kinds nicht zur Scheidung geführt hat, ist nicht entscheidend. Sodann ist der Vorinstanz beizupflichten, wenn sie darlegt, dass die Ereignisse nach der erleichterten Einbürgerung im Rückblick ein anderes Licht auf die Ehejahre werfen. So hat der Beschwerdeführer nach den unwidersprochen gebliebenen Feststellungen im angefochtenen Urteil bereits am 18. September die eheliche Wohnung verlassen und ist direkt zur Kindsmutter gezogen, die bereits am 26. Dezember 2003 das zweite gemeinsame Kind zur Welt brachte. Unter diesen Umständen kann dem BFM nicht vorgeworfen werden, die ehelichen Probleme bereits bei der Einbürgerung gekannt zu haben. Diesbezüglich argumentiert der Beschwerdeführer im Übrigen auch widersprüchlich, beruft er sich ja gerade darauf, dass die Ehe trotz Höhen und Tiefen funktioniert habe.
Die Rüge der Verletzung von <ref-law> erweist sich demnach als unbegründet.
5. Die Beschwerde ist nach dem Gesagten abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang trägt der Beschwerdeführer die Gerichtskosten (<ref-law>). Er hat keinen Anspruch auf eine Parteientschädigung (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf eingetreten wird.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Es wird keine Parteientschädigung zugesprochen.
4. Dieses Urteil wird dem Beschwerdeführer, dem Bundesamt für Migration und dem Bundesverwaltungsgericht, Abteilung III, schriftlich mitgeteilt.
Lausanne, 13. Januar 2011
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Fonjallaz Dold