Faits : A. A._ est domicilié à U._, où il exerce la profession d'avocat. Après lui avoir adressé en vain un premier rappel, l'Administration fiscale du canton de Genève (ci-après : l'Administration cantonale) l'a sommé, le 6 juin 2016, de lui remettre dans les dix jours sa déclaration d'impôt pour la période fiscale 2015, sous peine de se voir taxer d'office et infliger une amende. Sur demande du contribuable, l'Administration cantonale lui a accordé un délai au 30 novembre 2016 pour s'exécuter. Le 15 décembre 2016, A._ a sollicité le report du dépôt de sa déclaration d'impôt 2015, au motif qu'il voulait la remplir en toute connaissance de cause, sa taxation d'office 2014 faisant l'objet d'une procédure judiciaire qui était pendante. B. B.a. Par bordereaux de taxation d'office du 19 décembre 2016, l'Administration cantonale a fixé l'impôt cantonal et communal (ICC) 2015 de A._ à 21'790 fr. 15, comprenant une amende de 500 fr., et l'impôt fédéral direct (IFD) 2015 à 2'873 fr. 95, sur la base d'un revenu imposable de 100'000 fr. et d'une fortune nulle. Le 17 janvier 2017, A._ a formé réclamation contre ces bordereaux, en concluant à leur annulation. Le 14 février 2017, il a transmis à l'Administration cantonale " l'intégralité des relevés de compte de l'unique compte de l'Etude en 2015 ". Le 21 février 2017, l'Administration cantonale lui a répondu que la recevabilité de sa réclamation était subordonnée à la remise de sa déclaration fiscale 2015. Le 3 mars 2017, A._ a sollicité à cet effet un délai de dix jours après droit jugé concernant sa taxation d'office 2014. L'Administration cantonale lui a accordé un délai au 28 juillet 2017. Le contribuable ne s'étant pas exécuté dans ce délai, l'Administration cantonale lui a encore imparti, le 11 août 2017, un délai au 31 août 2017. Elle a alors précisé qu'il s'agissait là du dernier délai qu'elle lui concédait (art. 105 al. 2 LTF). Le 24 août 2017, A._ a assuré l'Administration cantonale qu'il déposerait sa déclaration d'impôt 2015 dans les dix jours à compter de l'arrêt de la Cour de justice qui serait prochainement rendu concernant sa taxation d'office 2014. L'Administration cantonale n'a pas répondu à ce courrier. B.b. Par deux décisions sur réclamation datées du 16 octobre 2017, l'Administration cantonale a rejeté la réclamation du 22 décembre 2016 (recte : 17 janvier 2017) contre les bordereaux de taxation d'office 2015. Le 27 novembre 2017, A._ a demandé à l'Administration cantonale une prolongation de délai pour déposer sa déclaration fiscale 2016, à l'instar de sa demande pour 2015. Par télécopie du 28 novembre 2017, l'Administration cantonale lui a accordé un délai au 31 décembre 2017 pour déposer sa déclaration d'impôt 2016. La prolongation de délai était uniquement accordée pour les cas avec la mention " accepté ". Le traitement de sa déclaration fiscale 2015 avait été " transféré à la taxation ". Le 15 décembre 2017, A._ a reçu un rappel de paiement concernant l'ICC 2015 et une sommation de payer l'IFD 2015. Le 29 décembre 2017, il a demandé à l'Administration cantonale une nouvelle prolongation de délai pour déposer ses déclarations d'impôt 2015 et 2016. Le 15 janvier 2018, l'Administration cantonale a adressé au contribuable une sommation de payer l'ICC 2015. B.c. Le 29 janvier 2018, A._ a recouru auprès du Tribunal administratif de première instance (ci-après: le Tribunal administratif) contre sa taxation ICC et IFD 2015, en lui demandant en substance de renvoyer le dossier à l'Administration cantonale pour qu'elle lui octroie un délai de dix jours pour produire sa déclaration fiscale dès que sa situation fiscale 2014 serait établie et d'annuler la taxation d'office 2015; subsidiairement, d'enjoindre l'Administration cantonale de rendre une décision formelle sur la réclamation formée contre la taxation d'office 2015 et d'annuler toute sommation relative aux impôts 2015. A l'appui de son recours, il expliquait avoir reçu contre toute attente une sommation de payer l'ICC et l'IFD 2015 le 15 décembre 2017. La sommation reçue le 15 décembre 2017 s'apparentait à une décision de ne pas donner suite à sa réclamation et il recourait, dans le délai de trente jours prolongé des féries judiciaires, contre cette décision implicite de l'Administration cantonale de ne pas admettre sa réclamation. Au cours de la procédure, il a allégué qu'il n'avait jamais reçu les décisions sur réclamation du 16 octobre 2017. Par jugement du 16 juillet 2018, le Tribunal administratif a déclaré le recours irrecevable et a fixé l'émolument judiciaire à 700 francs. Si le contribuable n'avait pas reçu les décisions sur réclamation du 16 octobre 2017, il avait en revanche reçu, le 15 décembre 2017, une sommation et un rappel de paiement relatifs aux impôts 2015. Dans ces circonstances, il lui incombait de se renseigner sans attendre auprès de l'Administration cantonale pour savoir si elle avait rendu les décisions sur réclamation qu'il attendait. Il avait expressément recouru dans un délai de trente jours calculé à compter du 16 décembre 2017, en tenant toutefois compte, à tort, des féries judiciaires, qui ne s'appliquaient pas. Son recours du 29 janvier 2018 s'avérait ainsi tardif et était, de ce fait, irrecevable. B.d. Le 20 août 2018, A._ a recouru contre ce jugement auprès de la Cour de justice, concluant, principalement, à son annulation et à ce que l'Administration cantonale lui notifie les décisions sur réclamation du 16 octobre 2017 avec indication des voies de droit et restitution du délai de recours; subsidiairement, à la constatation du caractère disproportionné de l'émolument de 700 fr. fixé par le Tribunal administratif. L'Administration cantonale ne l'avait informé ni qu'elle avait refusé la prolongation de délai qu'il avait sollicitée le 24 août 2017, ni qu'elle avait rendu des décisions sur réclamation le 16 octobre 2017. Un tel comportement était contraire à la bonne foi. Le fax du 28 novembre 2017 qu'elle lui avait adressé était par ailleurs peu clair. Il avait formé recours devant le Tribunal administratif quinze jours après avoir reçu la sommation du 15 janvier 2018, pour faire constater le déni de justice commis par l'Administration cantonale. Un tel recours n'était pas soumis à délai. Le Tribunal administratif aurait partant dû demander à l'Administration cantonale qu'elle lui notifie les décisions sur réclamation, avec restitution du délai de recours. Par arrêt du 10 septembre 2019, la Cour de justice a rejeté le recours. C. Agissant par la voie du recours en matière de droit public, A._ demande en substance au Tribunal fédéral d'annuler l'arrêt du 10 septembre 2019 de la Cour de justice, de constater que le recours déposé au Tribunal administratif l'a été en temps opportun et de renvoyer le dossier à l'Administration cantonale pour qu'un délai de dix jours lui soit octroyé pour produire sa déclaration d'impôt 2015 ou, subsidiairement, pour qu'elle rende une décision sur réclamation formelle, avec restitution de délai; dans tous les cas, que toutes les sommations relatives aux impôts 2015 soient annulées en conséquence. La Cour de justice s'en tient à son arrêt. L'Administration cantonale s'est déterminée. Elle s'en remet à justice s'agissant de la recevabilité du recours et conclut à son rejet dans la mesure de sa recevabilité. L'Administration fédérale des contributions se rallie au dispositif et aux considérants de l'arrêt attaqué et conclut au rejet du recours. Le recourant a répliqué.