Faits: A. A._, ressortissant suisse, réside à Paris depuis le mois de janvier 2005 en compagnie de son épouse B._, ressortissante suisse d'origine lituanienne. Par décisions des 30 août 2007 et 28 mars 2008, la Caisse suisse de compensation lui a alloué à compter du 1er mai 2007 une rente ordinaire simple de vieillesse, respectivement une rente ordinaire simple pour enfant recueilli. Le couple A._ et B._ a en effet accueilli au mois de septembre 2006 D._, ressortissant lituanien, dont il assure depuis lors l'entretien et l'éducation. Par décision du 22 novembre 2011, confirmée sur opposition le 31 janvier 2012, la Caisse suisse de compensation a constaté que les conditions pour le versement de la rente complémentaire pour enfant n'étaient plus remplies, motif pris que D._ était retourné au cours de l'automne 2010 vivre avec son père en Lettonie et qu'il ne pouvait plus être considéré comme enfant recueilli au sens de la législation applicable, et exigé la restitution de la somme de 13'320 fr. à titre de prestations indûment perçues au cours de la période courant du 1er septembre 2010 au 30 novembre 2011. B. Par jugement du 8 janvier 2014, le Tribunal administratif fédéral a, dans la mesure où celui-ci était recevable, rejeté le recours formé par l'assuré contre cette décision et renvoyé la cause à la Caisse suisse de compensation afin qu'elle se prononce sur une éventuelle remise de l'obligation de restituer. C. A._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. Il conclut implicitement à la poursuite du versement de la rente complémentaire pour enfant versée par l'assurance-vieillesse et survivants. La Caisse suisse de compensation conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.