Kirkegården er omgitt av en steinmur og automatisk fredet, i henhold til Kulturminneloven av 1978 §4. Den har sin opprinnelse i middelalderen, og Riksantikvaren daterer den til tiden før 1319. Seljord kirke ligger på det høyeste punktet der. Det ble gitt tillatelse til å utvide kirkegården mot øst av departementet i 1954, med inntil . Et jordskiftekart fra 1946 viser imidlertid at kirkegården allerede da var utvidet med cirka 35 m øst for Taraldskirken. Det eldste gravminnet er en stor gravert steinhelle datert med dødsdagen «ANNO 1658 DEN 22 IANUVARY». Steinhellen er i dag murt fast i østgavlen på skipet til Seljord kirke, rett ved sørportalen i koret. På kirkegården står det også en bauta over Harald Manheim (1879–1936), regnet som en av de fremste spelemennene i Telemark rundt år 1900.