出仕北齐，担任河南王参军事，历任徐州司马、兰陵郡太守、平原郡太守。北齐灭亡后，被北周武帝任用为许州司马。隋朝建立，转任冀州司马，有才能之名。入朝任比部侍郎，转任民部。内史侍郎晋平东与兄子晋长茂争正嫡，尚书省不能断决，朝臣三议也不能决。高构裁断合理，隋文帝召他入内殿，慰劳他。转任雍州司马。一年后，转任吏部侍郎。再任雍州司马，因事连坐左迁盩厔县令。随后再任雍州司马，入朝为吏部侍郎，因公事免职。隋炀帝即位，高构担任吏部侍郎。吏部中最有才能之人，前后典选的官员，都出于其下。高构好放谈，有人认为他轻薄，但内里