Su recinto amurallado tuvo desde antiguo barrios "extramuros", denominados arrabales de San Juan y del Andarrío, nombre que hacía referencia a su situación al otro lado del río Lozoya.