Faits:
A. Les époux B.X._ et A.X._ (ci-après: les époux X._) sont domiciliés dans le canton de Genève. En 2004, le second y exerçait la profession de médecin indépendant, tandis que la première exploitait un cabinet dentaire en tant qu'activité indépendante. Pour des motifs de santé, B.X._ a dû cesser définitivement cette activité à la fin de l'année 2004, sans avoir pu remettre son cabinet.
B. Dans leur déclaration fiscale relative à l'impôt cantonal et communal (ICC) et à l'impôt fédéral direct (IFD) pour la période 2005, dont il ressort que A.X._ exerçait toujours son activité indépendante tandis que son épouse percevait une rente d'assurance-invalidité, les époux ont fait valoir une déduction pour pertes commerciales de B.X._ d'un montant de 49'278 fr. au titre de la rubrique "autres déductions sur le revenu". Selon décompte joint à la déclaration, cette somme résume les charges encourues en 2005 après la cessation de son activité indépendante, comprenant en particulier le loyer des locaux du cabinet dentaire (39'417 fr.).
Dans ses décisions de taxation du 6 mai 2007 concernant l'ICC et l'IFD, l'Administration fiscale cantonale genevoise (ci-après: l'Administration cantonale) n'a pas admis les pertes commerciales de B.X._, au motif que son activité indépendante avait pris fin en 2004. La réclamation introduite par les époux X._ contre ces deux décisions a été rejetée par l'Administration cantonale par deux décisions distinctes du 16 juillet 2007. Par décision du 15 mars 2010, la Commission cantonale de recours en matière administrative, devenue le Tribunal administratif de première instance le 1er janvier 2011, a rejeté le recours des époux X._ formé contre les deux décisions sur réclamation du 16 juillet 2007. Par arrêt du 29 mars 2011, la Chambre administrative de la Cour de Justice de la République et canton de Genève (ci-après: la Cour de Justice) a rejeté, à son tour, le recours des époux X._ contre la décision du 15 mars 2010 relative à l'ICC et à l'IFD.
C. Agissant par la voie du recours en matière de droit public, les époux X._ demandent au Tribunal fédéral d'annuler l'arrêt du 29 mars 2011 et de dire qu'ils peuvent déduire de leur revenu imposable en 2005 une perte commerciale de 48'474 fr.
La Cour de Justice persiste dans les considérants et le dispositif de son arrêt du 29 mars 2011. Le Tribunal administratif de première instance renonce à formuler des observations. L'Administration cantonale et l'Administration fédérale des contributions concluent au rejet du recours.
Considérant en droit:
1. La Cour de Justice a rendu un seul arrêt valant pour les deux catégories d'impôts (ICC et IFD), ce qui est admissible, dès lors que la question juridique à trancher est réglée de la même façon en droit fédéral et dans le droit cantonal harmonisé (cf. ATF 135 II 260 consid. 1.3.1 p. 262 s.). Dans ces circonstances, on ne peut reprocher aux recourants d'avoir formé les mêmes griefs et pris des conclusions valant pour les deux catégories d'impôts dans leur recours devant le Tribunal fédéral (cf. ATF 135 II 260 consid. 1.3.3 p. 264). Par souci d'unification par rapport à d'autres cantons dans lesquels deux décisions sont rendues, la Cour de céans a toutefois ouvert deux dossiers, l'un concernant l'IFD (2C_376/2011), l'autre l'ICC (2C_377/2011). Comme l'état de fait est identique et que les questions juridiques se recoupent, les deux causes seront néanmoins jointes et il sera statué dans un seul arrêt (cf. art. 71 LTF et 24 de la loi de procédure civile fédérale du 4 décembre 1947 [PCF; RS 273]).
2. Le recours est dirigé contre une décision finale (art. 90 LTF), rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (art. 82 let. a LTF) ne tombant pas sous le coup de l'une des exceptions prévues à l'art. 83 LTF. La voie du recours en matière de droit public est partant ouverte. Les lois fiscales applicables confirment cette voie de droit: pour l'impôt fédéral direct, à l'art. 146 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD; RS 642.11) et, pour les impôts cantonal et communal, à l'art. 73 al. 1 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID; RS 642.14), dès lors que le recours concerne la déduction de pertes liées à une activité lucrative indépendante du revenu imposable de personnes physiques, soit une matière harmonisée figurant à l'art. 10 de ladite loi. Le recours a en outre été déposé en temps utile (art. 100 al. 1 LTF) et dans les formes requises (art. 42 LTF) par les contribuables destinataires de l'acte attaqué, de sorte qu'il est recevable.
3. Le Tribunal fédéral fonde son raisonnement juridique sur les faits constatés par l'autorité précédente (art. 105 al. 1 LTF), à moins que ces faits n'aient été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire (ATF 134 V 53 consid. 4.3 p. 62) - ou en violation du droit au sens de l'art. 95 LTF (cf. art. 105 al. 2 LTF). Si le recourant entend s'écarter des constatations de fait de l'autorité précédente (cf. art. 97 al. 1 LTF), il doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'art. 105 al. 2 LTF seraient réalisées. Sinon, il n'est pas possible de tenir compte d'un état de fait divergent de celui qui est contenu dans l'acte attaqué (cf. ATF 136 II 101 consid. 3 p. 104).
4. En substance, le litige revient à se demander si le refus par les autorités fiscales de déduire du revenu imposable ICC et IFD 2005 des recourants un montant de 48'474 fr. au titre de pertes commerciales, au motif que la recourante aurait cessé d'exercer son activité lucrative indépendante en fin d'année 2004, est conforme au droit fiscal. L'analyse de la Cour de céans portera dans un premier temps sur l'IFD, le raisonnement pour l'ICC étant similaire (cf. consid. 7).
I. Impôt fédéral direct
5. 5.1 L'impôt sur le revenu des personnes physiques a pour objet tous les revenus du contribuable, qu'ils soient uniques ou périodiques (art. 16 al. 1 LIFD). Sont notamment imposables tous les revenus provenant de l'exercice d'une profession libérale ou de toute autre activité lucrative indépendante (cf. art. 18 al. 1 LIFD). Est une activité lucrative indépendante celle qui est entreprise par une personne à ses propres risques, avec la mise en oeuvre de travail et de capital, dans une organisation librement choisie dans le but d'obtenir un gain en participant à la vie économique (ATF 125 II 113 consid. 5b p. 120 s.; arrêt 2C_307/2010 du 27 août 2010 consid. 2.2).
5.2 Le revenu imposable est le revenu net. Selon l'art. 25 LIFD, le revenu net se calcule en défalquant du total des revenus imposables les déductions générales et les frais mentionnés aux art. 26 à 33 de ladite loi. L'art. 27 LIFD dispose, à son alinéa 1er, que les contribuables exerçant une activité lucrative indépendante peuvent déduire les frais qui sont justifiés par l'usage commercial ou professionnel. A l'instar du revenu imposable, qui se détermine d'après les revenus acquis durant la période de calcul (art. 210 LIFD), les déductions prévues par l'art. 27 LIFD sont, sous réserve du report de pertes prévu à l'art. 211 LIFD, soumises au principe de périodicité et ne sont admises que lorsqu'elles trouvent leur cause dans des événements ayant lieu durant la période de calcul (arrêt 2C_220/2009 du 10 août 2009 consid. 5.1, in: RF 64/2009 p. 886). En d'autres termes, si, pendant la période de calcul, on peut admettre que le contribuable exerce toujours une activité indépendante au sens de l'art. 18 al. 1 LIFD, il peut, dans le respect du principe de périodicité, opérer les déductions prévues à l'art. 27 LIFD.
6. L'élément déterminant, pour savoir si la recourante peut faire valoir les déductions litigieuses consiste à se demander si, en 2005, on peut considérer qu'elle exerçait encore une activité indépendante. Le constat des juges cantonaux selon lequel B.X._ a cessé d'exploiter son cabinet dentaire et ainsi de fournir des prestations médicales en fin d'année 2004 relève de l'établissement des faits qui lie le Tribunal fédéral (cf. consid. 3 supra). En revanche, la notion de cessation de l'activité lucrative indépendante et les effets qui s'y rattachent en droit fiscal relèvent du droit fédéral, que le Tribunal fédéral revoit d'office (art. 106 al. 1 LTF).
6.1 L'arrêt attaqué constate qu'en raison de problèmes de santé, la recourante "a dû cesser définitivement" l'exploitation de son cabinet dentaire "à la fin de l'année 2004, sans avoir pu remettre" ce dernier, et qu'elle "était à l'assurance-invalidité" en 2005 (arrêt, p. 2). La Cour de Justice en a déduit que la recourante avait "mis fin à l'exercice de son activité indépendante en 2004". N'ayant, durant l'année 2005, exercé aucune activité et par conséquent tiré aucun revenu d'une telle activité, les montants dont la déduction comme pertes commerciales était demandée ne pouvaient "en aucun cas être considérés comme des dépenses ayant permis la réalisation d'un revenu". L'impossibilité de remise du cabinet dentaire était sans influence sur l'appréciation fiscale de la situation (arrêt, p. 6).
6.2 Ne contestant pas que B.X._ ait dû arrêter son activité en 2004, les recourants évoquent néanmoins les pourparlers qui avaient été engagés en 2005 concernant la remise du cabinet, le projet de contrat de reprise préparé par leur avocat, ainsi que le désistement du candidat acquéreur (recours, p. 3). L'impossibilité de trouver un repreneur les avait obligés à liquider le cabinet en 2005, entraînant une perte de 48'474 fr. que la Cour de Justice n'aurait pas examinée. En outre, B.X._ tenait sa comptabilité selon la méthode de la facturation, de sorte que les encaissements effectués en 2005 n'avaient pas été enregistrés comme produits de l'activité indépendante pour cette période, ce qui discriminait la contribuable vis-à-vis des personnes dont la comptabilité se fonde sur l'encaissement (recours, p. 4). Dès lors que des opérations de liquidation avaient pris place en 2005, l'arrêt retenait ainsi à tort que l'activité indépendante avait déjà cessé en 2004, si bien que la déduction des frais liés à cette liquidation avait été refusée en violation du droit.
6.3 En raison du passage du système de taxation praenumerando, qui prévoyait la possibilité pour le contribuable de demander à être taxé provisoirement, au système postnumerando annuel, applicable à la situation d'espèce, le concept juridique de cessation de l'activité indépendante a évolué.
6.3.1 Dans une cause soumise à l'AIFD, le Tribunal fédéral avait jugé que le moment déterminant pour le passage de la fortune commerciale à la fortune privée était celui auquel le contribuable informe l'autorité fiscale de sa volonté de ne plus détenir de fortune commerciale en requérant une taxation intermédiaire (ATF 112 Ib 39 consid. 4b p. 86; YVES NOËL, ad art. 18 LIFD, in: Commentaire romand - Impôt fédéral direct [Danielle Yersin/Yves Noël (éds)], Bâle 2008, p. 261 N 78). Dans un autre arrêt, le Tribunal fédéral avait qualifié de cessation d'une activité indépendante le moment auquel l'abandon de l'activité conduit à la disparition du revenu en provenant; pour un contribuable imposé sur la base des paiements reçus, ce moment correspondait à celui auquel l'encaissement des honoraires était achevé, même si l'activité indépendante avait effectivement pris fin auparavant (arrêt A.344/1980 du 17 février 1984 consid. 2c, in: ASA 53 p. 352 ss; RDAF 1985 p. 362).
6.3.2 Le Tribunal fédéral a également eu l'occasion de préciser que l'abandon de l'exploitation active de son entreprise par le contribuable n'équivaut en principe pas encore à une cessation de l'activité indépendante; la liquidation des valeurs patrimoniales commerciales constitue en effet aussi une telle activité, qui peut s'étendre sur une longue période (ATF 82 I 175 consid. 2 p. 179; arrêt du 28 avril 1972 consid. 3a, in: ASA 41 p. 452; cf. MARKUS REICH, ad art. 18 LIFD, in: DBG-Kommentar [Martin Zweifel/Peter Athanas (éds)], t. I/2a, Bâle 2008, p. 198 s. N 39 s.). Cette interprétation ne contredit pas les art. 27 ss LIFD, selon lesquels seuls les frais d'acquisition du revenu sont déductibles. En effet, ces frais ne visent pas uniquement à générer, à maintenir ou à renouveler le revenu professionnel; ils peuvent aussi servir à en éviter la diminution ou la perte, étant précisé que la non-atteinte de ce résultat ne modifie pas la nature commerciale ou professionnelle de la dépense (cf. NOËL, op. cit., ad art. 27 LIFD, p. 460 N 22; FELIX RICHNER/WALTER FREI/STEFAN KAUFMANN/HANS ULRICH MEUTER, Handkommentar zum DBG, 2e éd., Zurich 2009, ad art. 27 LIFD, p. 476 N 5). Ainsi, la Cour de céans a récemment souligné qu'une activité lucrative indépendante est "censée prendre fin au terme de la dernière opération de liquidation" (arrêt 2C_33/2009 précité, consid. 3.4, in: RDAF 2010 II 205; RF 65/2010 p. 318; Pra 2010 n° 82 p. 586; StE 2010 B 23.9 n° 13).
6.3.3 D'un point de vue systématique, la notion de "cessation d'une activité lucrative indépendante" présente des analogies avec celle qu'a introduite, avec effet au 1er janvier 2011 (cf. RO 2008 2893; FF 2005 4469), l'art. 37b al. 1 LIFD relatif aux bénéfices de liquidation. D'après cette disposition, la cessation d'activité s'accompagne en principe de la liquidation définitive et complète des actifs et des passifs de la société (cf. Message du Conseil fédéral du 22 juin 2005 concernant la loi fédérale sur l'amélioration des conditions fiscales applicables aux activités entrepreneuriales et aux investissements, in: FF 2005 4469, p. 4560; EMANUEL LAUBER/REBEKKA HOLENSTEIN, Aufgabe der selbständigen Erwerbstätigkeit, in: Der Schweizer Treuhänder, 2009 p. 337 ss, 339; FELIX RICHNER, Liquidationsgewinnbesteuerung bei Aufgabe der selbständigen Erwerbstätigkeit, in: Zürcher Steuerpraxis, 2009 p. 183 ss, 188).
6.3.4 Par ailleurs, le Tribunal fédéral a retenu que les bénéfices de liquidation font en règle générale l'objet d'une taxation fiscale au-delà du moment de la cessation de l'activité lucrative indépendante effective par le contribuable (ATF 125 II 113 consid. 6c p. 125 ss; cf. arrêt 2C_16/2009 du 26 août 2009 consid. 3.1.2 et 3.1.3). Par analogie, il doit en principe aussi en aller ainsi en cas de pertes de liquidation survenues à la suite de la cessation de l'activité indépendante.
6.3.5 Compte tenu de ce qui précède, et dans le contexte des art. 27 ss LIFD, la cessation d'une activité lucrative indépendante n'intervient ainsi pas déjà au moment auquel le contribuable cesse de fournir les prestations caractéristiques d'une telle exploitation axées sur la production d'un revenu. Elle se produit au moment de la dernière opération de liquidation de cette activité. Il en découle que les frais liés à cette liquidation sont a priori déductibles au sens des art. 27 ss LIFD, pour autant qu'ils demeurent justifiés par l'usage commercial ou professionnel (RICHNER ET AL., op. cit., ad art. 27 LIFD, p. 476 N 5).
6.4 En l'espèce, les recourants ont allégué devant les juridictions cantonales saisies, et invoquent également devant le Tribunal fédéral, que les divers postes de frais dont ils demandent la déduction fiscale seraient liés à la liquidation du cabinet dentaire effectuée en 2005, notamment - s'agissant de la poursuite du versement de loyers pour les locaux commerciaux - les vaines démarches visant à remettre l'entreprise à un tiers à prix coûtant.
6.4.1 Plusieurs pièces produites par les recourants devant les instances cantonales (art. 105 al. 2 LTF), en particulier un projet de contrat de vente du cabinet dentaire désignant nommément la candidate à la reprise, ainsi qu'une note d'honoraires d'avocat portant entre autres sur des prestations d'"assistance et conseils en matière de remise de fonds de commerce", semblent confirmer la matérialité des démarches entreprises en vue de remettre le cabinet dentaire durant l'année 2005, et corroborer par conséquent l'existence d'une phase de liquidation effective en 2005. Le courrier du 24 janvier 2006 par lequel la société de gérance libère la recourante de ses obligations résultant du contrat de bail avec effet au 31 décembre 2005 laisse à penser que le contrat de bail commercial avait été maintenu jusqu'à cette dernière date. Par ailleurs, divers décomptes et factures, par exemple d'électricité, de téléphonie, de travaux et de déménagement, font apparaître que le cabinet dentaire de la recourante n'aurait définitivement été liquidé qu'au cours de l'année 2005.
6.4.2 La Cour de céans ne peut exclure que tout ou partie des frais précités dont les recourants réclament la déduction au titre de perte de liquidation d'une activité lucrative indépendante entre dans la définition des frais justifiés par l'usage commercial ou professionnel, au sens des art. 27 ss LIFD. A condition d'être liés à l'activité lucrative indépendante dont fait partie la phase de liquidation de l'entreprise, peuvent en effet être déduits du revenu brut en tant que frais justifiés par l'usage commercial ou professionnel notamment les loyers versés pour l'usage des locaux commerciaux ou professionnels loués par l'indépendant. Il en va de même pour les charges annexes supportées par ce dernier, ainsi que pour les frais de fournitures, de télécommunications, les primes et frais d'assurances nécessaires à l'activité professionnelle, les frais publicitaires, les cotisations à des organisations professionnelles et certains frais de justice, dépens et honoraires y compris (cf. ERNST BLUMENSTEIN/PETER LOCHER, System des schweizerischen Steuerrechts, 6e éd., Zurich 2002, p. 253 s.; NOËL, op. cit., ad art. 27 LIFD, p. 457 s. N 10, 17 et 19; MARKUS REICH/MARINA ZÜGER, ad art. 27 LIFD, in: DBG-Kommentar, op. cit., p. 405 ss; RICHNER ET AL., op. cit., ad art. 27, p. 476 ss).
6.4.3 Les considérants qui précèdent laissent penser qu'au moins une partie des frais invoqués par les recourants pourrait être déduite des revenus au titre de l'exercice fiscal 2005. Toutefois, les éléments de fait et d'appréciation des preuves contenus dans l'arrêt attaqué sont insuffisants pour que le Tribunal fédéral, qui n'est pas un juge du fait (arrêt 2C_538/2010 du 19 juillet 2007 consid. 3.3) et ne revoit l'établissement et l'appréciation des faits que sous l'angle de l'interdiction de l'arbitraire (ATF 133 II 396 consid. 3 p. 400), puisse trancher cette question au fond. En effet, les juges cantonaux, dont les constats reviennent à déclarer, à tort, non pertinents les éléments de fait intervenus après le 31 décembre 2004 (cf. arrêt, p. 6), n'ont pas examiné ni apprécié, dans l'optique d'une perte de liquidation, la nature exacte et la nécessité commerciale des frais dont les recourants requièrent la déduction.
6.5 Compte tenu de ce qui précède, il convient d'admettre le recours s'agissant de l'IFD, d'annuler l'arrêt attaqué et de renvoyer la cause à la Cour de Justice pour qu'elle statue dans le sens des considérants (art. 107 al. 2 LTF), au besoin en complétant l'instruction du dossier.
II. Impôts cantonal et communal
7. Dans le cadre du droit fiscal harmonisé qui régit l'imposition directe aux niveaux cantonal et communal (cf. consid. 1 supra), tant la notion de revenu (art. 7 al. 1 LHID; art. 1 de l'ancienne loi genevoise du 22 septembre 2000 sur l'imposition des personnes physiques - Détermination du revenu net - Calcul de l'impôt et rabais d'impôt - Compensation des effets de la progression à froid [aLIPP-V/GE; RS/GE D 3 16], applicable à la période fiscale 2005 par renvoi de l'art. 72 al. 1 de la loi genevoise du 27 septembre 2009 sur l'imposition des personnes physiques [LIPP/GE; RS/GE D 3 08]) que celle de déduction des frais justifiés par l'usage commercial ou professionnel, et celle de déduction de pertes commerciales (art. 9 al. 1 et 10 LHID; art. 3 al. 3 aLIPP-V/GE) correspondent à la LIFD. Partant, les considérations développées pour l'impôt fédéral direct trouvent à s'appliquer aux impôts cantonal et communal relatifs à la période fiscale sous examen (cf. arrêts 2C_200/2011 du 14 novembre 2011 consid. 6; 2C_878/2010 du 19 avril 2011 consid. 7).
Par conséquent, il y a également lieu d'admettre le recours en ce qu'il concerne les impôts cantonal et communal pour la période 2005, d'annuler l'arrêt querellé et de renvoyer la cause à la Cour de Justice pour qu'elle statue dans le sens des considérants (art. 107 al. 2 LTF), en complétant le cas échéant l'instruction du dossier.
8. Il découle des considérants qui précèdent que les frais judiciaires doivent être mis à la charge du canton de Genève qui succombe et qui défend un intérêt patrimonial (art. 66 LTF; cf. ATF 136 I 39 consid. 8.1.3 p. 40 s.). Ce dernier versera en outre des dépens aux recourants, créanciers solidaires (art. 68 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Les causes 2C_376/2011 et 2C_377/2011 sont jointes.
2. Le recours est admis en tant qu'il concerne l'impôt fédéral direct.
3. Le recours est admis en tant qu'il concerne les impôts cantonal et communal.
4. L'arrêt de la Chambre administrative de la Cour de Justice de la République et canton de Genève du 29 mars 2011 est annulé. La cause est renvoyée à cette autorité pour nouvelle décision dans le sens des considérants.
5. Des frais judiciaires de 2'000 fr. sont mis à la charge du canton de Genève.
6. Le canton de Genève versera aux recourants, créanciers solidaires, une indemnité de 3'000 fr. à titre de dépens.
7. Le présent arrêt est communiqué au mandataire des recourants, à l'Administration fiscale cantonale du canton de Genève, au Tribunal administratif de première instance du canton de Genève, à la Cour de justice du canton de Genève, Chambre administrative, 1ère section, et à l'Administration fédérale des contributions.
Lausanne, le 27 avril 2012
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
Le Greffier: Chatton