Faits: A. A._ a exploité le restaurant "X._" à Y._ (GE) sous la forme d'une entreprise individuelle. Du fait de cette activité, il a été immatriculé au registre des contribuables de l'Administration fédérale des contributions, Division principale de la taxe sur la valeur ajoutée (ci-après: l'Administration fédérale) depuis le 1er septembre 2001 en tant qu'assujetti TVA. Dès l'année 2005, l'entreprise de A._ a également offert un service traiteur. Les mets étaient apparemment préparés dans les locaux du restaurant, puis livrés chez le client sans que du personnel ne soit mis à disposition. B._ a travaillé dans le restaurant de A._, en disposant d'une procuration collective à deux dès l'inscription de l'entreprise au registre du commerce, le ****. Le **** (date de l'inscription au registre du commerce), elle a repris l'entreprise de A._ avec actifs et passifs. Lors d'un contrôle externe effectué le 28 avril 2010 auprès de la fiduciaire qui tenait la comptabilité de l'assujetti, l'Administration fédérale a constaté que celle-ci n'était pas probante et a procédé à une taxation par estimation pour les périodes fiscales allant du 1er trimestre 2005 au 4e trimestre 2008. Il en est ressorti une reprise d'impôt de 41'472 fr. L'assujetti ayant contesté devoir ce montant, l'Administration fédérale a établi le 27 octobre 2010 la notification d'estimation n° 221'708, par laquelle elle a confirmé le résultat de son contrôle du 28 avril 2010, sous réserve d'une erreur de calcul en relation avec l'exercice 2005. Compte tenu d'une autre correction concernant les prestations à soi même, le montant d'impôt encore dû s'élevait à 43'048 fr. B. Sur réclamation de A._, ce prononcé a été confirmé par décision du 8 novembre 2011. A l'encontre de cette décision, A._ et B._ - laquelle avait entre-temps repris l'entreprise - ont recouru au Tribunal administratif fédéral, en contestant à la fois le recours à une taxation par estimation dans son principe et la façon dont celle-ci a été effectuée. Par arrêt du 20 novembre 2012, cette juridiction a rejeté le recours. C. Agissant par la voie du recours en matière de droit public, A._ et B._ demandent au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du 20 novembre 2012, ainsi que, principalement, la taxation par estimation du 27 octobre 2010 et, subsidiairement, de renvoyer le dossier à l'autorité précédente pour nouvelle décision dans le sens des considérants. L'autorité précédente renonce à se déterminer sur le recours. L'Administration fédérale en propose le rejet, sous suite de frais.