Sachverhalt: A. X._ wurde am 13. September 1971 geboren und stammt aus dem Kosovo. Am 8. Februar 1989 gelangte er erstmals in die Schweiz und reichte hier ein Asylgesuch ein. Nachdem dieses rechtskräftig abgewiesen worden war, wurde er im August 1990 ausgeschafft. Am 4. Januar 1991 heiratete er in Pristina die Schweizer Bürgerin Y._. In der Folge erhielt er eine Aufenthaltsbewilligung und reiste am 12. April 1991 wiederum in die Schweiz ein. Am 6. November 1995 stellte X._ ein Gesuch um erleichterte Einbürgerung, welches jedoch abgewiesen wurde. Am 13. Mai 2000 stellte er ein zweites Gesuch. Im Einbürgerungsverfahren unterzeichneten er und seine Ehefrau am 21. Oktober 2002 eine Erklärung, wonach sie in stabiler ehelicher Gemeinschaft zusammenlebten und weder Trennungs- noch Scheidungsabsichten bestünden. Gleichzeitig nahmen sie zur Kenntnis, dass die erleichterte Einbürgerung nicht möglich sei, wenn vor oder während des Einbürgerungsverfahrens einer der Ehegatten die Trennung oder Scheidung beantragt habe oder keine tatsächliche eheliche Gemeinschaft mehr bestehe. Am 22. Januar 2003 wurde X._ das Schweizer Bürgerrecht verliehen. X._ zog am 18. September 2003 aus der ehelichen Wohnung aus und am 6. Oktober 2003 reichten die Eheleute ein gemeinsames Scheidungsbegehren ein. Seit dem 27. Januar 2004 ist die Ehe rechtskräftig geschieden. Mit Verfügung vom 22. Januar 2008 erklärte das Bundesamt für Migration (BFM) die erleichterte Einbürgerung für nichtig. X._ focht diese Verfügung an. Mit Urteil vom 14. Oktober 2010 wies das Bundesverwaltungsgericht die Beschwerde ab. B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht vom 22. November 2010 beantragt X._, die Verfügung des BFM sowie die damit erhobene Gebühr von Fr. 400.-- seien aufzuheben. Das Bundesverwaltungsgericht hat auf eine Vernehmlassung verzichtet. Das BFM beantragt die Abweisung der Beschwerde.