Родился в семье Ивана Андреевича Фонвизина, образ которого позже воплотил в своём любимом герое Стародуме в произведении «Недоросль». Прародителем Фонвизиных был немецкий барон Питер фон Визен, взятый в плен во время Ливонской войны (1558—1583), в царствование Ивана Грозного. После войны барон остался в России и поступил на русскую службу. Его внук при царе Алексее Михайловиче принял православие.