Hans Smidth var son till stadsskrivaren, och senare stadsfogden, i Skive Edvard Philip Smidth (1807–78) och Karen Cathrine Berg (1812–55), samt bror till målaren F.L. Smidth. Han växte upp i Skive och läste efter studentexamen 1858 medicin ett par år, innan han började studera i Ferdinand Vilhelm Jensens ritskola vintern 1861 och senare under året på Kunstakademiet för bland andra Magnus Petersen, Adolph Kittendorff, Niels Simonsen, Wilhelm Marstrand och Jørgen Roed. Studierna avbröts 1864-65 för militärtjänst under andra schleswigska kriget. Han utbildade sig också på Vilhelm Kyhns frie aftenakademi 1870-71.