Faits: A. A._, ressortissant d'origine pakistanaise né en 1981, est entré en Suisse le 14 janvier 2003, en vue d'y effectuer une formation dans le domaine de l'hôtellerie. Le 11 juin 2005, le prénommé a épousé B._, ressortissante suisse née en 1973. Il s'est ainsi vu délivrer une autorisation de séjour. Le 14 juin 2008, l'intéressé a déposé une demande de naturalisation facilitée. Dans le cadre de l'instruction de cette demande, les époux ont contresigné, le 27 mars 2009, une déclaration écrite aux termes de laquelle ils confirmaient vivre en communauté conjugale effective et stable, résider à la même adresse et n'envisager ni séparation, ni divorce. Leur attention a été attirée sur le fait que la naturalisation facilitée ne pouvait pas être octroyée lorsque, avant ou pendant la procédure de naturalisation, l'un des époux demandait le divorce ou la séparation, ou lorsque la communauté conjugale effective n'existait plus. Par décision du 11 mai 2009, l'Office fédéral des migrations (ci-après: l'ODM) a accordé la naturalisation facilitée au prénommé. B. En janvier 2011, les époux se sont séparés. Le 30 août 2011, les intéressés ont signé une convention sur les effets accessoires du divorce et, en date du 31 août 2011, ils ont déposé une requête commune de divorce. Par jugement du 21 décembre 2011, le Tribunal de première instance du canton de Genève a prononcé le divorce des époux. Le 15 mars 2012, A._ a contracté mariage, au Pakistan, avec une compatriote née en 1983. C. Par écrit du 3 août 2012, l'ODM a informé A._ qu'il allait examiner la possibilité d'ouvrir une procédure en annulation de sa naturalisation facilitée et l'a invité à se déterminer. L'intéressé a pris position, par courrier du 7 août 2012, cosigné par son ex-épouse, en faisant valoir qu'ils vivaient en communauté conjugale effective et stable jusqu'à ce que l'instabilité professionnelle de A._ rende la vie commune insupportable pour son épouse et qu'ils décident dès lors de se séparer. Entendue le 27 août 2012, l'ex-épouse a affirmé que les difficultés conjugales dues à l'instabilité professionnelle et financière de son mari qui étaient à l'origine de leur séparation étaient "surmontables" jusqu'à la fin de son droit aux indemnités de l'assurance chômage, où il était inscrit entre le 1 er juin 2009 et le 31 mai 2011. Elle a par ailleurs expliqué qu'à ce moment-là, elle avait décidé de divorcer car sa situation ne changeait pas. A la question de savoir si, au moment de la signature de la déclaration de vie commune, leur communauté conjugale était effective et stable, l'intéressée a répondu par l'affirmative, en précisant qu'ils vivaient sous le même toit et qu'ils espéraient que "la situation s'arrangerait". L'intéressé s'est déterminé sur les déclarations de son ex-épouse. D. Par décision du 4 décembre 2012, l'ODM a prononcé, avec l'assentiment de l'autorité cantonale compétente, l'annulation de la naturalisation facilitée accordée à A._. En substance, il a retenu que la naturalisation facilitée avait été octroyée sur la base de déclarations mensongères, voire de dissimulation de faits essentiels. Le Tribunal administratif fédéral a confirmé cette décision dans un arrêt rendu le 5 septembre 2013. Il a considéré en particulier que l'enchaînement rapide des événements fondait la présomption que la communauté conjugale des intéressés n'était plus stable au moment de la signature de la déclaration commune et du prononcé de la décision de naturalisation, les éléments avancés par A._ n'étant pas suffisants pour renverser cette présomption. E. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral d'annuler l'arrêt du Tribunal administratif fédéral du 5 septembre 2013 ainsi que la décision de l'ODM du 4 décembre 2012. Invités à se déterminer, le Tribunal administratif fédéral a renoncé à prendre position, alors que l'ODM a observé que le recours ne contenait aucun élément propre à remettre en cause l'appréciation des juges précédents.