中举人，光绪六年参加会试，殿试得二甲第六名进士，同年五月，改翰林院庶吉士。光绪九年四月，散馆，授翰林院编修，历任会馆编纂修提调、京师大学堂总办、编书局译学馆监督、湖北提学使等职。与孙诒让交厚，人称“二仲先生”在政治上黄绍箕主张变革维新，与维新派首领康有为交往甚密，常同黄遵宪、张謇等人抨击时弊。1895年京师「强学会」成立，黄绍箕积极响应。1906年率领各省提学使去日本考察教育，回国后不久卒于任上，湖北学界送殡者达千多人。日本学界推尊其为「仲尼后一人」，左宗棠誉其为“一代伟人”。其墓坐落在今瑞安市潘岱街道