Происходил из дворянского рода Князевых Костромского уезда. О происхождении составителя гербовника бытовали различные версии. Сам он в «сказке» 1753 года, поданной в Вотчинную коллегию, утверждал, что предки его служили городовыми дворянами по Костроме и родоначальник Михаил Князев указан в поколенной росписи 1627 года городовым дворянином. Однако, по современным изысканиям, на самом деле, они были пушкарями: прадед его, Агап Емельянович Князев, был пушкарской слободы г. Каширы пушкарь, умер в первом Азовском походе Петра I; дед Лазарь Агапович, по ревизии написан в пушкарях, а после отставки служил в канцелярии комиссаром по сбору подушных податей. Отец геральдиста Тит Лазаревич из пушкарских детей, занимал должность подканцеляриста в Каширской ратуше и состоял в купеческом звании, как и родной брат Анисима, тоже каширский купец. Родные племянники его, по увольнению от купечества служили, один майором, другой гвардии сержантом. Родился Анисим в Кашире и с рождения числился по каширскому дворянству, несмотря на то, что работал в Москве и Санкт-Петербурге.