洪武年间.洪武二十八年（1395年），黄淮应荐入南京国子监。洪武二十九年（1396年），应天府乡试中举人，次年登进士春榜二甲第五名，授官中书舍人。
永乐年间.靖难之役后，明成祖即位，黄淮召对称旨，被命与解缙常在左右询政，有时至深夜，朱棣入寝，仍然赐坐到榻前对话商谈机要。同年八月，黄淮与解缙、杨士奇、胡广、金幼孜、杨荣、胡俨共七人先后进入文渊阁，黄淮改为翰林编修，之后升为侍读，专掌制敕。同年，其与解缙等奉敕撰《列女传》；另奉敕与杨士奇编撰《历代名臣奏议》。