下辖十三县，东晋末年，狼孟县废除，下辖十二县：阳曲县、榆次县、于离县、孟县、阳邑县、大陵县、祁县、平陶县、京陵县、中都县、邬县。隋朝开皇三年（583年），太原郡废入并州。大业三年（607年），复置太原郡。户十七万五千三，下领十五县：晋阳县、太原县、交城县、汾阳县、文水县、祁县、寿阳县、榆次县、太谷县、乐平县、和顺县、辽山县、平城县、石艾县、盂县。唐朝建立后，天下改郡为州，故于武德元年（618年），废太原郡。