时，当地太守刘护听到他的孝行便召募他为门下孝子，对他甚为爱敬。黄香便能学到多部经典，研究、精于道术，能书写文章，京师有号为「天下无双，江夏黄香（一说为江夏黄童）」后来除去郎中。在84年，汉章帝诏黄香到东观，阅览一些未见过的书籍。后来黄香回京，遇上千乘贞王刘伉加冠，汉章帝在中山府邸殿下面见黄香，对各王侯说：「此『天下无双，江夏黄香』者也。（这个就是『天下无双，江夏黄香』由来了。）」左右都对黄香改变看法。后召为诣安福殿讨论政事，拜尚书郎，数次陈情得失，赏赐日渐增加。常一个人在办公台上睡着，日日夜夜都不离开省