Faits : A. Le 15 octobre 2009, l'immeuble sis au 3 rue [...], sur la parcelle n° 4'270 du registre foncier de la Ville de Genève a été soumis au régime de la propriété par étages (PPE). Le 4 mai 2012, cet immeuble a été vendu à C._ SA, société immobilière. A._ SA - dont l'administrateur président est le même que celui de C._ SA - a acquis l'appartement correspondant au lot 6.02 de quatre pièces et demie situé au 3 ème étage de l'immeuble précité, dans le cadre de la liquidation de C._ SA, société immobilière. A._ SA a été inscrite en qualité de propriétaire au registre foncier au mois de novembre 2013. Le 7 septembre 2016, A._ SA a sollicité du Département de l'aménagement, du logement et de l'énergie du canton de Genève (devenu depuis le Département du territoire) l'autorisation de vendre l'appartement concerné à B._. Le prix de vente était fixé à 460'000 francs. Le motif invoqué pour la vente était le besoin de liquidités, tandis que le motif de l'achat était l'habitation. Par décision du 6 novembre 2017, le Département du territoire a refusé l'autorisation d'aliéner requise, après avoir procédé à une pesée des intérêts en présence. Cette décision a été confirmée successivement par le Tribunal administratif de première instance du canton de Genève (TAPI), par jugement du 19 juin 2018 et par la Chambre administrative de la Cour de justice du canton de Genève (ci-après: la Cour de justice ou la cour cantonale), par arrêt du 3 septembre 2019. B. Agissant par la voie du recours en matière de droit public, A._ SA et B._ demandent principalement au Tribunal fédéral d'annuler l'arrêt du 3 septembre 2019 et la décision du 6 novembre 2017 ainsi que de déclarer fondée la demande d'autorisation d'aliéner litigieuse. Ils concluent subsidiairement au renvoi de la cause à l'instance précédente pour nouvelle décision au sens des considérants. La Cour de justice s'en rapporte à justice quant à la recevabilité du recours et persiste dans les considérants et le dispositif de l'arrêt attaqué. Le Département du territoire conclut au rejet du recours. Les recourants ont répliqué, par courrier du 10 janvier 2020.