El castillo se alza sobre la esquina sureste de la muralla que rodea el casco histórico de Buitrago del Lozoya, a la que ocupa parcialmente.