Très tôt, il hérite de la charge du château de Thoiry, en partie de style Renaissance. Sa famille occupe sans interruption cette propriété depuis quatre siècles, et il représente la . Il s'installe au château en 1943 après s'être marié avec Solange de Vogüé l'année précédente. Pour entretenir et sauver ce patrimoine exceptionnel des difficultés financières, il a l'idée de créer un zoo d'une forme nouvelle dans le domaine familial avec l'aide de son fils Paul de La Panouse. Le parc de 150 hectares ouvre ses portes en 1965. L'idée de présenter les animaux dans de grands enclos reflète le climat idéologique de la fin des années 1960.