Jacques-François Pitot naquit le , à Villedieu-les-Poêles, d'une famille originaire de Tinchebray, en Normandie. La tradition familiale rapporte qu'un de ses aïeux, surnommé "Ti-Pitot", commandait un escadron de cavalerie lors de la Septième croisade.