У Ивана Ивановича было пять сыновей, один из которые Александр (1788 — не ранее 1836) так же предпочёл карьеру военного. В 1807 году он поступил на службу в Российскую императорскую армию. В формулярном списке 1811 года он характеризуется как образованный человек, который знает 4 языка (российский, немецкий, французский и латынь) и имеет познания в науках. Принимал участие в Отечественной войне 1812 года и Заграничных походах. 3 июня 1813 года он был награждён Золотым оружием «За храбрость». Армейскую карьеру Александр Панаев окончил в чине полковника. С 1834 по 1836 годы был предводителем дворянства Лаишевского уезда (Киевская губерния), где он имел 306 крепостных и 1 145 десятин земли. Так же Александр как и его отец писал литературные произведения, публиковал свои произведения под псевдонимом «Адонис», который он выбрал из-за своего увлечения античностью.