Faits :
A.
Le 15 octobre 2009, l'immeuble sis au 3 rue [...], sur la parcelle n° 4'270 du registre foncier de la Ville de Genève a été soumis au régime de la propriété par étages (PPE).
Le 4 mai 2012, cet immeuble a été vendu à C._ SA, société immobilière. A._ SA - dont l'administrateur président est le même que celui de C._ SA - a acquis l'appartement correspondant au lot 6.02 de quatre pièces et demie situé au 3 ème étage de l'immeuble précité, dans le cadre de la liquidation de C._ SA, société immobilière. A._ SA a été inscrite en qualité de propriétaire au registre foncier au mois de novembre 2013.
Le 7 septembre 2016, A._ SA a sollicité du Département de l'aménagement, du logement et de l'énergie du canton de Genève (devenu depuis le Département du territoire) l'autorisation de vendre l'appartement concerné à B._. Le prix de vente était fixé à 460'000 francs. Le motif invoqué pour la vente était le besoin de liquidités, tandis que le motif de l'achat était l'habitation. Par décision du 6 novembre 2017, le Département du territoire a refusé l'autorisation d'aliéner requise, après avoir procédé à une pesée des intérêts en présence.
Cette décision a été confirmée successivement par le Tribunal administratif de première instance du canton de Genève (TAPI), par jugement du 19 juin 2018 et par la Chambre administrative de la Cour de justice du canton de Genève (ci-après: la Cour de justice ou la cour cantonale), par arrêt du 3 septembre 2019.
B.
Agissant par la voie du recours en matière de droit public, A._ SA et B._ demandent principalement au Tribunal fédéral d'annuler l'arrêt du 3 septembre 2019 et la décision du 6 novembre 2017 ainsi que de déclarer fondée la demande d'autorisation d'aliéner litigieuse. Ils concluent subsidiairement au renvoi de la cause à l'instance précédente pour nouvelle décision au sens des considérants.
La Cour de justice s'en rapporte à justice quant à la recevabilité du recours et persiste dans les considérants et le dispositif de l'arrêt attaqué. Le Département du territoire conclut au rejet du recours. Les recourants ont répliqué, par courrier du 10 janvier 2020.

Considérant en droit :
1.
Dirigé contre une décision finale (<ref-law>) prise en dernière instance cantonale (art. 86 al. 1 let. d LTF) dans une cause de droit public (<ref-law>), le recours en matière de droit public est en principe recevable, aucune des exceptions prévues à l'<ref-law> n'étant réalisée. Les recourants ont pris part à la procédure devant l'autorité précédente (<ref-law>); en tant que propriétaire et acquéreur de parts de PPE, ils sont particulièrement touchés par la décision de refus confirmée en instance cantonale. Ils disposent dès lors de la qualité pour recourir devant le Tribunal fédéral au sens de l'<ref-law>.
Les autres conditions de recevabilité sont par ailleurs réunies, si bien qu'il y a lieu d'entrer en matière sur le fond.
2.
Dans un grief d'ordre formel qu'il convient d'examiner en premier lieu, les recourants se plaignent d'une constatation inexacte et incomplète des faits (<ref-law>).
2.1. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law> (<ref-ruling> consid. 4.4.3 p. 156). La partie recourante ne peut critiquer les constatations de fait ressortant de la décision attaquée que si celles-ci ont été effectuées en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, c'est-à-dire arbitraire, et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>; <ref-ruling> consid. 6 p. 358). Les exigences de motivation de l'<ref-law> s'appliquent dans ce contexte: il appartient à la partie recourante d'expliquer de manière circonstanciée en quoi ces conditions seraient réalisées; le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (<ref-ruling> consid. 6.3 p. 375).
2.2. Les recourants reprochent d'abord à l'instance précédente d'avoir retenu que "les autres lots individualisés suite à la liquidation de C._ SA, société immobilière, ont été acquis par des particuliers et des sociétés anonymes en proximité manifeste avec, selon le registre du commerce, l'administrateur président de la société immobilière liquidée", alors que seuls 5 copropriétaires sur 13 auraient une proximité manifeste avec l'administrateur président. Cet élément n'a cependant aucune incidence sur l'issue du litige puisque, comme on le verra, il ne s'agit pas en l'espèce d'un cas de vente en bloc au sens de l'art. 39 al. 4 de la loi sur les démolitions, transformations et rénovations de maisons d'habitation (mesures de soutien en faveur des locataires et de l'emploi) (LDTR; RS/GE L 5 20) (voir infra consid. 3.3.1).
Les recourants critiquent encore le fait que la Cour de justice n'a pas mentionné que le TAPI avait jugé que la volonté de l'acquéreur d'acheter le bien en question pour y loger des employés avait été alléguée tardivement et manifestement pour les besoins de la cause. Cette critique manque de pertinence puisque la cour cantonale a retenu que l'acquéreur "[précisait] de manière convaincante que sa volonté actuelle [consistait] à loger ses employés dans cet appartement". La Cour de justice a d'ailleurs pris en compte l'intérêt de l'acheteur "d'acquérir l'appartement pour y loger ses employés" (voir infra consid. 3.3.2). La précision requise par les recourants quant à la motivation du TAPI n'a ainsi aucun impact sur le sort de la présente contestation.
Les recourants font ensuite grief à la cour cantonale de ne pas avoir tenu compte de la situation privée et professionnelle de l'acquéreur, en particulier de ne pas avoir mentionné qu'il est copropriétaire d'une grande villa au Grand-Saconnex avec jardin et garage - dans laquelle il vit depuis 1996 - et qu'il est propriétaire et administrateur de 15 sociétés qui possèdent 15 restaurants et emploient 110 personnes environ. L'ajout de ces éléments n'est cependant pas susceptible d'inverser la pesée des intérêts opérée par l'instance précédente et d'influer sur le sort de la cause (voir infra consid. 3.3.2).
Enfin, les recourants reprochent à l'instance précédente de ne pas avoir retenu que l'Office cantonal du logement avait indiqué qu'il ne pouvait accepter l'autorisation de vente du fait qu'il ne saurait valider des opérations subséquentes à une prétendue fraude à la loi. La Cour de justice n'a cependant pas ignoré cette problématique dont elle fait expressément état dans son arrêt (arrêt attaqué consid. 9 p. 9). L'appréciation juridique de cet élément relève de l'application du droit et non de l'établissement des faits. Cette question sera ainsi examinée ci-après (voir infra consid. 3.3.2).
Par conséquent, le grief de l'établissement arbitraire et incomplet des faits doit être rejeté, dans la mesure de sa recevabilité.
3.
Dans leurs griefs de fond, les recourants se plaignent d'une application arbitraire de l'art. 39 LDTR (art. 9 Cst.) ainsi que d'une violation de la garantie de la propriété (art. 26 al. 1 Cst.)
3.1. Appelé à revoir l'interprétation d'une norme cantonale ou communale sous l'angle restreint de l'arbitraire, le Tribunal fédéral ne s'écarte de la solution retenue par l'autorité cantonale de dernière instance que si celle-ci apparaît insoutenable, en contradiction manifeste avec la situation effective, adoptée sans motifs objectifs et en violation d'un droit certain. En revanche, si l'application de la loi défendue par l'autorité cantonale ne s'avère pas déraisonnable ou manifestement contraire au sens et au but de la disposition ou de la législation en cause, cette interprétation sera confirmée, même si une autre solution - même préférable - paraît possible (<ref-ruling> consid. 2.4 p. 5; <ref-ruling> consid. 4.2 p. 560). En outre, pour qu'une décision soit annulée au titre de l'arbitraire, il ne suffit pas qu'elle se fonde sur une motivation insoutenable; encore faut-il qu'elle apparaisse arbitraire dans son résultat (<ref-ruling> consid. 2.4 p. 5).
3.2. La LDTR a pour but la préservation de l'habitat et des conditions de vie existants, en prévoyant notamment des restrictions quant à l'aliénation des appartements destinés à la location (art. 1 al. 2 let. c LDTR). Ces mesures figurent à l'art. 39 LDTR.
A teneur de l'art. 39 al. 1 LDTR, "l'aliénation, sous quelque forme que ce soit (notamment cession de droits de copropriété d'étages ou de parties d'étages, d'actions, de parts sociales), d'un appartement à usage d'habitation, jusqu'alors offert en location, est soumise à autorisation dans la mesure où l'appartement entre, à raison de son loyer ou de son type, dans une catégorie de logements où sévit la pénurie".
Le Conseil d'Etat du canton de Genève a constaté qu'il y avait pénurie, au sens des art. 25 et 39 LDTR, dans toutes les catégories des appartements d'une à sept pièces inclusivement (arrêtés du Conseil d'Etat déterminant les catégories de logement où sévit la pénurie en vue de l'application des art. 25 à 39 LDTR des 29 novembre 2017 et 19 décembre 2018 [ArAppart; RS/GE L 5 20.03]).
L'art. 39 al. 2 LDTR expose les motifs de refus d'aliénation: "le département refuse l'autorisation lorsqu'un motif prépondérant d'intérêt public ou d'intérêt général s'y oppose. L'intérêt public et l'intérêt général résident dans le maintien, en période de pénurie de logements, de l'affectation locative des appartements loués".
L'intérêt privé est présumé l'emporter sur l'intérêt public lorsque le propriétaire doit vendre l'appartement par nécessité de liquider un régime matrimonial ou une succession (art. 13 al. 3 let. a du règlement d'application de la loi sur les démolitions, transformations et rénovations de maisons d'habitation du 29 avril 1996 [RDTR; RS/GE L 5 20.01], satisfaire aux exigences d'un plan de désendettement (art. 13 al. 3 let. b RDTR) ou prendre un domicile dans un autre canton (art. 13 al. 3 let. c RDTR).
Le but poursuivi par la LDTR procède d'un intérêt public important et reconnu (<ref-ruling> consid. 5.2.4 p. 211 s.; <ref-ruling> consid. 3a p. 26 et les arrêts cités).
3.3. En l'occurrence, il n'est pas contesté que l'appartement de quatre pièces et demie concerné par la présente procédure entre dans des catégories de logements où sévit la pénurie et que son aliénation est soumise à autorisation au sens de l'art. 39 al. 1 LDTR. Les recourants ne nient pas non plus qu'aucun des quatre motifs d'autorisation d'aliéner au sens de l'art. 39 al. 4 let. a à d LDTR n'est rempli.
3.3.1. Les recourants reprochent à la Cour de justice d'avoir retenu que la question de la vente en bloc ne se posait pas du fait que A._ SA ne vendait qu'un seul appartement. Ils prétendent au contraire qu'il ne s'agit pas d'une vente en bloc stricto sensu au sens de l'art. 39 al. 4 second paragraphe LDTR mais au sens où "la venderesse aliène en une seule opération à un même acquéreur tout ce dont elle est propriétaire dans l'immeuble concerné". Ils distinguent cette situation de celle où un propriétaire ne souhaiterait aliéner que certains de ses appartements sur la totalité de ceux lui appartenant dans l'immeuble. Ils soutiennent que comme la venderesse ne possède qu'un seul logement dans l'immeuble considéré, elle aurait dû être autorisée à le vendre conformément aux conditions relatives à une vente en bloc.
Les recourants ne sauraient être suivis dans la mesure où leur interprétation se heurte au texte du second paragraphe de l'art. 39 al. 4 LDTR, lequel précise que "l'autorisation ne porte que sur un appartement à la fois; une autorisation de vente en bloc peut toutefois être accordée en cas de mise en vente simultanée, pour des motifs d'assainissement financier, de plusieurs appartements à usage d'habitation ayant été mis en propriété par étages et jusqu'alors offerts en location, avec pour condition que l'acquéreur ne peut les revendre que sous la même forme, sous réserve d'une autorisation individualisée au sens du présent alinéa".
Une vente en bloc ne peut ainsi être demandée ou imposée qu'à des propriétaires détenant plusieurs lots dans un même immeuble, ce qui n'est pas le cas de la venderesse qui n'est propriétaire que d'un appartement dans le bâtiment en question. Quoi qu'en disent les recourants, l'autorisation d'aliéner ne peut être octroyée du seul fait que la venderesse ne possède que ce logement dans l'immeuble. Par ailleurs, la Cour de justice a retenu à bon droit que les arrêts cantonaux cités par les recourants ne leur étaient d'aucune aide, puisqu'ils traitent le cas de vente de plusieurs appartements, ce qui n'est pas le cas en l'espèce.
Mal fondé, le grief doit être écarté.
3.3.2. Les recourants critiquent ensuite la pesée des intérêts opérée par la Cour de justice.
A l'instar du TAPI et du Département du territoire, l'instance précédente a considéré que les intérêts privés des parties apparaissaient comme commerciaux pour la venderesse et de pure convenance personnelle pour l'acheteur et qu'ils ne sauraient l'emporter sur l'intérêt public à la protection du parc locatif genevois. Elle a jugé que le besoin de liquidités de la venderesse à la suite de nombreux projets immobiliers coûteux ne permettait pas de considérer que son intérêt privé était prépondérant face à l'intérêt public. Elle a estimé que A._ SA ne démontrait en outre pas que sa situation financière la contraindrait à aliéner l'appartement litigieux dans un but d'assainissement ou pour éviter une faillite. Après avoir relevé qu'il était compréhensible qu'acquérir l'appartement pour y loger ses employés serait plus pratique pour l'acquéreur que la conclusion de contrats de bail, l'instance précédente a jugé que cet intérêt privé de pure convenance personnelle n'était pas prépondérant face à l'intérêt public au maintien du parc locatif. Elle a ajouté que, même si l'acquéreur précisait de manière convaincante que sa volonté actuelle consistait à loger ses employés dans cet appartement, rien n'indiquait que celle-ci resterait immuable, rendant manifeste le risque de voir l'appartement sortir du marché locatif.
Pour contester cette pesée des intérêts, les recourants se contentent de faire valoir que les intérêts privés tant de la venderesse que de l'acquéreur seraient de nature à primer l'intérêt public et général visé à l'art. 39 al. 2 LDTR. Ils avancent, sans preuves à l'appui, que si A._ SA a un intérêt commercial à la vente de l'appartement en question, les fonds y relatifs seront réinvestis dans la construction de 16 nouveaux logements. Ils soulignent que l'intérêt de l'acquéreur - déjà propriétaire d'une villa avec jardin - à louer cet appartement à ses employés est important pour la bonne exploitation de ses 15 restaurants afin qu'il puisse engager des personnes étrangères compétentes maîtrisant l'art du sushi. Les recourants ajoutent que le prix de vente est extrêmement attractif et nettement inférieur à celui d'un bien comparable au prix du marché, de sorte qu'il ne s'agit pas d'une opération spéculative. Ils affirment que l'instance précédente n'a pas procédé à une pesée des intérêts objective.
Les éléments avancés par les recourants sont toutefois insuffisants pour démontrer le caractère arbitraire de la pesée des intérêts effectuée par la Cour de justice. Les recourants se bornent en effet à substituer leur propre pesée des intérêts à celle effectuée par les autorités cantonales. Ils ne parviennent ainsi pas à établir que l'argumentation de la cour cantonale est insoutenable. Cela est d'autant plus vrai qu'ils ne contestent pas qu'aucun des critères de l'art. 13 al. 3 RDTR permettant à l'intérêt privé de l'emporter sur l'intérêt public n'est rempli.
Les recourants soutiennent encore que le réel motif du refus délivré par le Département du territoire serait la succession des opérations réalisées en amont, que le Tribunal fédéral a déjà eu l'occasion de qualifier de fraude à la loi. Ce grief est dénué de pertinence puisque, comme aucune des conditions autorisant la vente de l'appartement au sens de l'art. 39 al. 4 LDTR n'est remplie en l'espèce, il n'est pas nécessaire d'examiner ce point. Il en va de même de la critique des recourants selon laquelle l'arrêt attaqué mènerait au résultat "choquant" que seule une situation de surendettement de la venderesse lui permettrait d'aliéner son logement. Nonobstant le fait qu'il ne s'agit pas du seul motif permettant de vendre un appartement destiné à la location, cette assertion est vaine puisque, de toute manière, le cas litigieux ne remplit aucune des conditions dans lesquelles le Département du territoire est tenu de délivrer une autorisation d'aliéner. Dans cette situation, l'autorité a, à bon droit, procédé à une pesée des intérêts au sens de l'art. 39 al. 2 LDTR, dont les recourants, on l'a vu, ne parviennent pas à démontrer le caractère insoutenable.
3.3.3. Les recourants affirment enfin que l'interdiction d'aliéner litigieuse restreint leur garantie de la propriété (art. 26 al. 1 Cst.) de manière disproportionnée. Ils prétendent qu'une autorisation d'aliéner soumise à condition serait suffisante.
Or le refus de l'autorisation de vendre un appartement loué lorsqu'un motif prépondérant d'intérêt public s'y oppose ne représente pas une atteinte disproportionnée à la garantie de la propriété, si l'autorité administrative effectue une pesée des intérêts en présence et évalue l'importance du motif de refus au regard des intérêts privés en jeu (<ref-ruling> consid. 7b/aa p. 137; arrêt 1C_124/2017 du 23 novembre 2017 consid. 3.2). Il ressort du considérant précédent que la cour cantonale a valablement pesé les divers intérêts en présence, de sorte que le grief de violation de l'art. 26 al. 1 Cst. doit être écarté.
3.4. Par conséquent, en considérant que l'intérêt privé devait céder le pas à l'intérêt public à la protection du parc locatif genevois, la Cour de justice n'a pas appliqué arbitrairement la LDTR et n'a pas porté une atteinte disproportionnée à la garantie de la propriété.
4.
Il résulte de ce qui précède que le recours doit être rejeté dans la mesure de sa recevabilité, aux frais des recourants qui succombent (art. 65 et 66 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté, dans la mesure de sa recevabilité.
2.
Les frais judiciaires, arrêtés à 4'000 francs, sont mis à la charge des recourants.
3.
Le présent arrêt est communiqué au mandataire des recourants, au Département du territoire et à la Chambre administrative de la Cour de justice du canton de Genève.
Lausanne, le 21 avril 2020
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Chaix
La Greffière : Tornay Schaller