Родился в Санкт-Петербурге в богатой дворянской семье Орловской губернии. Его дед был драматургом-любителем, автором пьесы «Ночное», которая была популярна и не сходила со сцен театра вплоть до революции 1917 года. Отец, Александр Александрович (1830—1913) — орловский помещик и коннозаводчик, шталмейстер; увлекался итальянской оперой и французской комедией; автор ярких зарисовок, опубликованных в книге «Клочки воспоминаний». Мать — Ольга Павловна, урождённая Ушакова, (1827—1902) дочь Павла Николаевича Ушакова. Стаховичам принадлежало имение в Пальне-Михайловке.