L'existence d'une place forte à Châteaudouble remonte au Sègle Modèl:S mini-Modèl:Verificacion sègle, qui aurait d'abord appartenu aux seigneurs de Royans puis aux Comtes de Poitiers, Comtes de Valentinois et de Diois. Son territoire seigneurial ou mandement couvrait une grande superficie, comprenant également les communes actuelles de Combovin, Peyrus, Le Chaffal et Châteaudouble (Droma), plus d'autres territoires sur le plateau.