回国后担任国立台湾师范大学教育所副教授、教授、所长。在李登辉任台北市长时，任台北市教育局长，任内1981年1月23日外双溪放水造成15位高中师生溺毙事件，当时他请辞以示负责，但李登辉批示慰留且升官。后担任台湾省教育厅长，在1983年发生着名的丰原高中礼堂倒塌事故，黄昆辉请辞获准转任党职。李登辉担任中华民国总统时，黄昆辉历任诸多党政要职：行政院大陆委员会主任委员、行政院政务委员、内政部部长、总统府秘书长、中国国民党秘书长、李连教育基金会董事长、总统府资政。2000年总统选举后，李登辉被迫辞去国民党