积1870平方米，建筑面积1101.94平方米。沿中轴线分布有泮池、戟门、八佾舞坪、祭台、大成殿、崇圣祠，两侧有东西庑和钟鼓室等建筑。主体建筑大成殿面阔五间（17.1米），进深三间（9.3米），高12米，砖木结构，重檐歇山顶。文庙内还藏有沈从文篆额并书丹的“芷江县警备队队长段君治贤墓志铭”，立于民国十年（公元1921年）。