Selon Gustave Chaix d'Est-Ange, cette famille est connue depuis 1236 et sa filiation suivie débute en 1410 avec Médor Baudry, qualifié varlet (terme équivalent à écuyer en Poitou), seigneur de La Raynerie, époux de Guillemette Bouquin. La famille de Baudry d'Asson se signala, lors de l'insurrection vendéenne, par son dévouement à la cause de la Royauté. Elle compte parmi ses membres deux pages de la grande écurie du roi Louis XV en 1725 et 1766, un page du roi Charles X en 1826, un camérier secret de cape et d'épée du pape Léon XIII en 1886, et de nombreux officiers.