Родился 22 декабря 1755 года в семье генерал-майора Дмитрия Васильевича Арсеньева, от которого унаследовал обширные имения в Новгородской, Владимирской, Московской и Калужской губерниях. Большую известность получил его брат, Николай Дмитриевич, который был начальником штаба у Суворова и за взятие Измаила был награждён орденом св. Георгия 3-й степени; другой брат, Александр Дмитриевич, был шефом Кабардинского пехотного полка и генерал-лейтенантом.