Vernet was born to Carle Vernet, another famous painter, who was himself a son of Claude Joseph Vernet.
Vernet lahir dari seorang ayah bernama Carle Vernet, seorang pelukis terkenal yang juga memiliki anak bernama Claude Joseph Vernet.