Faits:
A. A._ a exploité le restaurant "X._" à Y._ (GE) sous la forme d'une entreprise individuelle. Du fait de cette activité, il a été immatriculé au registre des contribuables de l'Administration fédérale des contributions, Division principale de la taxe sur la valeur ajoutée (ci-après: l'Administration fédérale) depuis le 1er septembre 2001 en tant qu'assujetti TVA.
Dès l'année 2005, l'entreprise de A._ a également offert un service traiteur. Les mets étaient apparemment préparés dans les locaux du restaurant, puis livrés chez le client sans que du personnel ne soit mis à disposition.
B._ a travaillé dans le restaurant de A._, en disposant d'une procuration collective à deux dès l'inscription de l'entreprise au registre du commerce, le ****. Le **** (date de l'inscription au registre du commerce), elle a repris l'entreprise de A._ avec actifs et passifs.
Lors d'un contrôle externe effectué le 28 avril 2010 auprès de la fiduciaire qui tenait la comptabilité de l'assujetti, l'Administration fédérale a constaté que celle-ci n'était pas probante et a procédé à une taxation par estimation pour les périodes fiscales allant du 1er trimestre 2005 au 4e trimestre 2008. Il en est ressorti une reprise d'impôt de 41'472 fr.
L'assujetti ayant contesté devoir ce montant, l'Administration fédérale a établi le 27 octobre 2010 la notification d'estimation n° 221'708, par laquelle elle a confirmé le résultat de son contrôle du 28 avril 2010, sous réserve d'une erreur de calcul en relation avec l'exercice 2005. Compte tenu d'une autre correction concernant les prestations à soi même, le montant d'impôt encore dû s'élevait à 43'048 fr.
B. Sur réclamation de A._, ce prononcé a été confirmé par décision du 8 novembre 2011.
A l'encontre de cette décision, A._ et B._ - laquelle avait entre-temps repris l'entreprise - ont recouru au Tribunal administratif fédéral, en contestant à la fois le recours à une taxation par estimation dans son principe et la façon dont celle-ci a été effectuée. Par arrêt du 20 novembre 2012, cette juridiction a rejeté le recours.
C. Agissant par la voie du recours en matière de droit public, A._ et B._ demandent au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du 20 novembre 2012, ainsi que, principalement, la taxation par estimation du 27 octobre 2010 et, subsidiairement, de renvoyer le dossier à l'autorité précédente pour nouvelle décision dans le sens des considérants.
L'autorité précédente renonce à se déterminer sur le recours. L'Administration fédérale en propose le rejet, sous suite de frais.

Considérant en droit:
1. 1.1 Les recourants ne peuvent s'en prendre qu'à l'arrêt attaqué, qui se substitue aux prononcés antérieurs (effet dévolutif du recours, cf. <ref-ruling> consid. 1.2 p. 543). Par conséquent, le recours est irrecevable dans la mesure où il est dirigé contre la notification d'estimation du 27 octobre 2010.
1.2 Pour le reste, dirigé contre un jugement final (cf. <ref-law>) rendu dans une cause de droit public (cf. <ref-law>) par le Tribunal administratif fédéral (cf. <ref-law>), le présent recours est en principe recevable comme recours en matière de droit public. Interjeté par des parties directement touchées par la décision attaquée et qui ont un intérêt digne de protection à son annulation ou sa modification (cf. <ref-law>), il a, en effet, été déposé dans le délai compte tenu des féries (cf. art. 46 al. 1 let. c et <ref-law>) et la forme (cf. <ref-law>) prévus par la loi et ne tombe sous aucun des cas d'exceptions mentionnés à l'<ref-law>.
2. La loi fédérale du 12 juin 2009 régissant la taxe sur la valeur ajoutée (LTVA; RS 641.20) est entrée en vigueur le 1er janvier 2010. En vertu de l'<ref-law>, les dispositions de l'ancien droit ainsi que leurs dispositions d'exécution demeurent applicables à tous les faits et rapports juridiques ayant pris naissance avant leur abrogation. En l'espèce, le litige porte sur les périodes fiscales allant du 1er janvier 2005 au 31 décembre 2008 (1er trimestre 2005 au 4ème trimestre 2008). La présente cause doit dès lors être examinée au regard des dispositions de la loi fédérale du 2 septembre 1999 régissant la taxe sur la valeur ajoutée (aLTVA; RO 2000 1300 et les modifications ultérieures; en vigueur jusqu'au 31 décembre 2009).
3. 3.1 Selon l'art. 60 aLTVA, si les documents comptables font défaut ou sont incomplets, ou si les résultats présentés par l'assujetti ne correspondent manifestement pas à la réalité, l'Administration fédérale procède, dans les limites de son pouvoir d'appréciation, à une estimation. Il convient en effet d'éviter que les cas où le contribuable se soustrait à son obligation de coopérer ou dans lesquels les documents comptables se révèlent incomplets, insuffisants, voire inexistants, ne se soldent par une perte d'impôt.
Lorsqu'elle procède à une estimation du chiffre d'affaires, l'autorité de taxation doit tenir compte des conditions particulières prévalant dans l'entreprise en cause; elle doit s'appuyer sur des données plausibles et aboutir à un résultat s'approchant le plus possible de la réalité, ce que prescrit l'art. 60 aLTVA en exigeant que l'Administration fédérale procède "dans les limites de son pouvoir d'appréciation". Le contribuable qui a présenté une comptabilité non conforme aux exigences légales et qui est dans l'incapacité d'établir que l'estimation faite par l'administration ne correspondrait manifestement pas à la réalité doit supporter les désavantages d'une situation illégale qu'il a lui-même créée (arrêt 2C_426/2007 du 22 novembre 2007 consid. 3.2, in RDAF 2008 II p. 20, Archives 77 p. 343, RF 63/2008 p. 289).
3.2 Lors d'une procédure portant sur une taxation par estimation, le contribuable - lequel supporte le fardeau de la preuve (arrêt 2C_170/2008 du 30 juillet 2008 consid. 5.2 et 5.3, in RF 64/2009 p. 35) - peut uniquement faire valoir devant le Tribunal fédéral que les conditions d'une telle taxation n'étaient pas remplies ou qu'il y aurait abus du pouvoir d'appréciation. Le Tribunal fédéral n'annule pareille taxation que si des fautes ou des erreurs manifestes ont échappé à l'autorité précédente et que celle-ci a procédé à une estimation manifestement erronée. Est manifestement erronée toute appréciation qui n'a pas pris en considération des points de vue essentiels ou les a interprétés de manière inexacte. Le Tribunal fédéral est donc lié par la taxation d'office lorsque celle-ci repose sur une constatation des faits correcte et complète et sur une prise en considération objective de l'ensemble des circonstances déterminantes pour la taxation. A cet égard, les autorités compétentes disposent d'une certaine marge dans l'évaluation chiffrée du résultat de leur instruction (arrêts 2C_426/2007 précité consid. 1.3; 2C_426/2008 du 18 février 2009 consid. 5.2, in Archives 79 p. 608, RF 64/2009 p. 605).
4. Les recourants ne contestent plus que les conditions pour procéder à une taxation par estimation soient réunies, mais seulement la manière dont celle-ci a été effectuée.
4.1 Dans une première étape, l'Administration fédérale a déterminé le prix de revient des marchandises sur la base des informations concernant l'entreprise des recourants dont elle disposait. En se fondant sur les données d'expérience relatives à des entreprises similaires, elle a admis que le coût des marchandises représentait les 40% du chiffre d'affaires de l'entreprise, la marge bénéficiaire brute étant de 60%. Elle a ainsi calculé les chiffres d'affaires théoriques, dont elle a déduit, dans une seconde étape, ceux ressortant de la comptabilité, ainsi que la valeur des marchandises consommées par le recourant et sa famille, à concurrence de 11'152 fr. par année. L'impôt dû sur le solde - correspondant aux chiffres d'affaires non décomptés et non imposés - se montait, pour l'ensemble des périodes fiscales litigieuses, à 44'954 fr. (cf. décision sur réclamation du 8 novembre 2011, consid. 2.2.2).
L'Administration fédérale a retenu une marge bénéficiaire brute de 60% en se fondant sur les données relatives à dix-huit entreprises actives dans la restauration, soit comme restaurants, soit comme traiteurs, soit, dans la majorité des cas, comme restaurants avec service traiteur. Plusieurs de ces entreprises sont localisées dans la même région que celle des recourants. Les données datent de la même période que celle qui est litigieuse en l'espèce ou sont antérieures de quelques années. Les marges bénéficiaires brutes ressortant de cet échantillonnage sont les suivantes: la plus élevée est de 75,31 %, la plus basse de 57,46 %; la moyenne s'établit à 65,32 % et la médiane à 65,44 %. La marge de bénéfice brut ressortant de la comptabilité des recourants était quant à elle de 56,69 %.
L'Administration fédérale a retenu une marge bénéficiaire brute de 60% en se fondant sur les données relatives à dix-huit entreprises actives dans la restauration, soit comme restaurants, soit comme traiteurs, soit, dans la majorité des cas, comme restaurants avec service traiteur. Plusieurs de ces entreprises sont localisées dans la même région que celle des recourants. Les données datent de la même période que celle qui est litigieuse en l'espèce ou sont antérieures de quelques années. Les marges bénéficiaires brutes ressortant de cet échantillonnage sont les suivantes: la plus élevée est de 75,31 %, la plus basse de 57,46 %; la moyenne s'établit à 65,32 % et la médiane à 65,44 %. La marge de bénéfice brut ressortant de la comptabilité des recourants était quant à elle de 56,69 %.
4.2 Se plaignant d'appréciation arbitraire des preuves et de violation de l'art. 60 aLTVA, les recourants soutiennent que la plupart des dix-huit entreprises dont les données ont été prises en considération aux fins de déterminer la marge brute ne sont pas comparables à la leur, à divers égards. Ils reprochent en outre à l'autorité précédente de n'avoir pas tenu compte des particularités de leur établissement, où des marchandises de première qualité sont utilisées et où les amuses-bouche et digestifs sont offerts aux clients.
4.2.1 En argumentant de la sorte, les recourants perdent de vue que, lorsqu'elles ont déterminé la marge bénéficiaire brute, les autorités précédentes n'ont pas retenu la moyenne, ni la médiane ressortant de l'échantillon de dix-huit entreprises, mais un taux de 60%, plus proche de celui (56,69 %) tiré de la comptabilité - non probante - des recourants que de ladite moyenne (65,32 %) ou médiane (65,44 %). En s'écartant - en faveur des recourants - de manière aussi importante des données d'expérience, elles ont tenu compte de ce que les entreprises de l'échantillon ne sont pas en tous points comparables à celle des recourants. Les recourants - qui supportent le fardeau de la preuve - devraient démontrer en quoi cette façon de procéder conduit à un résultat manifestement erroné, ce qu'ils ne font pas en s'en prenant uniquement à l'échantillonnage.
4.2.2 Les recourants reprochent à l'autorité précédente d'avoir retenu comme argument à l'appui du taux de 60% le fait que la marge brute ressortant de la comptabilité de leur entreprise pour l'exercice 2010 a été très proche, à savoir de 59,24 %, alors que ce pourcentage ne concernait selon eux que les trois premiers mois de l'année 2010. Inversement, le Tribunal administratif fédéral n'aurait pas tenu compte de ce que la marge brute de l'entreprise durant l'exercice 2009 a été de 57,74 %, valeur voisine de celle (56,69 %) qui ressortait des comptes pour les périodes litigieuses en l'espèce.
Les comptes des exercices 2009 et 2010 n'ont pas fait l'objet du contrôle de l'Administration fédérale, de sorte que leur valeur probante n'est pas établie et que les données qu'ils contiennent ne sont pas de nature à faire apparaître comme manifestement erronée la taxation par estimation litigieuse. L'autorité précédente n'a pas ignoré cela, puisqu'elle n'a invoqué la marge de 59,24 % qu'à titre d'argument supplémentaire, en ajoutant que les recourants "semblaient avoir tenu leur comptabilité de manière plus précise" à la suite du contrôle de l'Administration fédérale. A en juger par les pièces produites par les recourants (not. compte de pertes et profits de l'exercice au 31 décembre 2010, PJ no 49 au recours devant l'autorité précédente), ce pourcentage correspond du reste bien à l'ensemble de l'exercice 2010, et non pas seulement aux trois premiers mois, comme ceux-ci l'affirment.
Le recours est ainsi mal fondé sur ce point.
4.2.3 Les recourants font valoir que dans l'affaire à la base de l'arrêt 2C_657/2012 du 9 octobre 2012 (consid. 3.2), le chiffre d'affaires d'une buvette de piscine a été taxé par estimation sur la base d'une marge brute inférieure aux données d'expérience les plus basses. Ils demandent qu'en l'espèce la marge brute déterminante pour le calcul soit de même arrêtée sinon à 56,69 % (taux ressortant de leur comptabilité), du moins à 57,46 %, soit la valeur la plus basse de l'échantillon de dix-huit entreprises.
Cette argumentation méconnaît le fait que, dans l'affaire jugée le 9 octobre 2012, la marge brute n'a pas servi directement à calculer les chiffres d'affaires, mais seulement à vérifier les résultats obtenus en utilisant une autre méthode qu'en l'espèce (à savoir que les chiffres d'affaires avaient été reconstitués sur la base des marges de bénéfice brut réalisées par l'entreprise en cause - et non par des entreprises similaires - durant d'autres périodes que celles ayant fait l'objet du contrôle). Du reste, la marge retenue pour les périodes fiscales 2007 et 2008, à savoir 56 %, se trouvait légèrement au-dessus de la limite inférieure (55,45 %) de la fourchette des données expérimentales.
Les recourants ne peuvent donc rien tirer à leur profit de l'arrêt 2C_657/2012.
4.2.4 Les recourants soutiennent que la taxation par estimation litigieuse est erronée dans la mesure où la valeur des marchandises consommées par le recourant et sa famille a été fixée à 11'152 fr. par année, alors que celle-ci se monterait selon eux respectivement à 16'710 fr. pour 2005, 14'079 fr. 80 pour 2006, 11'793 fr. 65 pour 2007 et 16'124 fr. 50 pour 2008.
Cet argument est inopérant déjà pour le motif que les montants invoqués ressortent de la comptabilité des recourants, dont l'absence de valeur probante n'est plus contestée. En outre, l'Administration fédérale a relevé dans sa détermination devant le Tribunal de céans que les données expérimentales servant à estimer le chiffre d'affaires à partir du coût des marchandises intègrent déjà les prélèvements (potentiels) en nature. Pour cette raison également, le recours est mal fondé sur ce point.
5. Les considérants qui précèdent conduisent au rejet du recours, dans la mesure où il est recevable. Succombant, les recourants doivent supporter un émolument judiciaire, solidairement entre eux (cf. art. 66 al. 1 et 5 LTF). Ils n'ont pas droit à des dépens (cf. <ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge des recourants, solidairement entre eux.
3. Le présent arrêt est communiqué au mandataire des recourants, à l'Administration fédérale des contributions, Division principale de la taxe sur la valeur ajoutée et au Tribunal administratif fédéral, Cour I.
Lausanne, le 16 mai 2013
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
Le Greffier: Vianin