patopla commited on
Commit
e4051d6
·
verified ·
1 Parent(s): 81917a3

Upload 3 files

Browse files
Files changed (3) hide show
  1. app.py +140 -31
  2. patterns.py +206 -0
  3. requirements.txt +14 -2
app.py CHANGED
@@ -3,6 +3,8 @@ import gradio as gr
3
  import requests
4
  import inspect
5
  import pandas as pd
 
 
6
 
7
  # (Keep Constants as is)
8
  # --- Constants ---
@@ -11,13 +13,44 @@ DEFAULT_API_URL = "https://agents-course-unit4-scoring.hf.space"
11
  # --- Basic Agent Definition ---
12
  # ----- THIS IS WERE YOU CAN BUILD WHAT YOU WANT ------
13
  class BasicAgent:
 
14
  def __init__(self):
15
  print("BasicAgent initialized.")
 
 
16
  def __call__(self, question: str) -> str:
17
  print(f"Agent received question (first 50 chars): {question[:50]}...")
18
- fixed_answer = "This is a default answer."
19
- print(f"Agent returning fixed answer: {fixed_answer}")
20
- return fixed_answer
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
21
 
22
  def run_and_submit_all( profile: gr.OAuthProfile | None):
23
  """
@@ -139,37 +172,113 @@ def run_and_submit_all( profile: gr.OAuthProfile | None):
139
  results_df = pd.DataFrame(results_log)
140
  return status_message, results_df
141
 
 
 
142
 
143
- # --- Build Gradio Interface using Blocks ---
144
- with gr.Blocks() as demo:
145
- gr.Markdown("# Basic Agent Evaluation Runner")
146
- gr.Markdown(
147
- """
148
- **Instructions:**
149
-
150
- 1. Please clone this space, then modify the code to define your agent's logic, the tools, the necessary packages, etc ...
151
- 2. Log in to your Hugging Face account using the button below. This uses your HF username for submission.
152
- 3. Click 'Run Evaluation & Submit All Answers' to fetch questions, run your agent, submit answers, and see the score.
153
-
154
- ---
155
- **Disclaimers:**
156
- Once clicking on the "submit button, it can take quite some time ( this is the time for the agent to go through all the questions).
157
- This space provides a basic setup and is intentionally sub-optimal to encourage you to develop your own, more robust solution. For instance for the delay process of the submit button, a solution could be to cache the answers and submit in a seperate action or even to answer the questions in async.
158
- """
159
- )
160
-
161
- gr.LoginButton()
162
-
163
- run_button = gr.Button("Run Evaluation & Submit All Answers")
 
 
 
 
 
 
 
 
164
 
165
- status_output = gr.Textbox(label="Run Status / Submission Result", lines=5, interactive=False)
166
- # Removed max_rows=10 from DataFrame constructor
167
- results_table = gr.DataFrame(label="Questions and Agent Answers", wrap=True)
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
168
 
169
- run_button.click(
170
- fn=run_and_submit_all,
171
- outputs=[status_output, results_table]
172
- )
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
173
 
174
  if __name__ == "__main__":
175
  print("\n" + "-"*30 + " App Starting " + "-"*30)
 
3
  import requests
4
  import inspect
5
  import pandas as pd
6
+ from agent import AmbiguityClassifier
7
+ import json
8
 
9
  # (Keep Constants as is)
10
  # --- Constants ---
 
13
  # --- Basic Agent Definition ---
14
  # ----- THIS IS WERE YOU CAN BUILD WHAT YOU WANT ------
15
  class BasicAgent:
16
+ """A langgraph agent that detects and classifies ambiguities in user stories."""
17
  def __init__(self):
18
  print("BasicAgent initialized.")
19
+ self.analizar_historia = AmbiguityClassifier()
20
+
21
  def __call__(self, question: str) -> str:
22
  print(f"Agent received question (first 50 chars): {question[:50]}...")
23
+ try:
24
+ resultado = self.analizar_historia(question)
25
+
26
+ # Formatear la respuesta
27
+ respuesta = []
28
+ if resultado["tiene_ambiguedad"]:
29
+ respuesta.append("Se encontraron las siguientes ambigüedades:")
30
+
31
+ if resultado["ambiguedad_lexica"]:
32
+ respuesta.append("\nAmbigüedades léxicas:")
33
+ for amb in resultado["ambiguedad_lexica"]:
34
+ respuesta.append(f"- {amb}")
35
+
36
+ if resultado["ambiguedad_sintactica"]:
37
+ respuesta.append("\nAmbigüedades sintácticas:")
38
+ for amb in resultado["ambiguedad_sintactica"]:
39
+ respuesta.append(f"- {amb}")
40
+
41
+ respuesta.append(f"\nScore de ambigüedad: {resultado['score_ambiguedad']}")
42
+ respuesta.append("\nSugerencias de mejora:")
43
+ for sug in resultado["sugerencias"]:
44
+ respuesta.append(f"- {sug}")
45
+ else:
46
+ respuesta.append("No se encontraron ambigüedades en la historia de usuario.")
47
+ respuesta.append(f"Score de ambigüedad: {resultado['score_ambiguedad']}")
48
+
49
+ return "\n".join(respuesta)
50
+ except Exception as e:
51
+ error_msg = f"Error analizando la historia: {str(e)}"
52
+ print(error_msg)
53
+ return error_msg
54
 
55
  def run_and_submit_all( profile: gr.OAuthProfile | None):
56
  """
 
172
  results_df = pd.DataFrame(results_log)
173
  return status_message, results_df
174
 
175
+ # Inicializar el clasificador
176
+ classifier = AmbiguityClassifier()
177
 
178
+ def analyze_user_story(user_story: str) -> str:
179
+ """Analiza una historia de usuario y retorna los resultados formateados."""
180
+ if not user_story.strip():
181
+ return "Por favor, ingrese una historia de usuario para analizar."
182
+
183
+ # Analizar la historia
184
+ result = classifier(user_story)
185
+
186
+ # Formatear resultados
187
+ output = []
188
+ output.append(f"📝 Historia analizada:\n{user_story}\n")
189
+ output.append(f"🎯 Score de ambigüedad: {result['score_ambiguedad']}")
190
+
191
+ if result['ambiguedad_lexica']:
192
+ output.append("\n📚 Ambigüedades léxicas encontradas:")
193
+ for amb in result['ambiguedad_lexica']:
194
+ output.append(f"• {amb}")
195
+
196
+ if result['ambiguedad_sintactica']:
197
+ output.append("\n🔍 Ambigüedades sintácticas encontradas:")
198
+ for amb in result['ambiguedad_sintactica']:
199
+ output.append(f"• {amb}")
200
+
201
+ if result['sugerencias']:
202
+ output.append("\n💡 Sugerencias de mejora:")
203
+ for sug in result['sugerencias']:
204
+ output.append(f"• {sug}")
205
+
206
+ return "\n".join(output)
207
 
208
+ def analyze_multiple_stories(user_stories: str) -> str:
209
+ """Analiza múltiples historias de usuario separadas por líneas."""
210
+ if not user_stories.strip():
211
+ return "Por favor, ingrese al menos una historia de usuario para analizar."
212
+
213
+ stories = [s.strip() for s in user_stories.split('\n') if s.strip()]
214
+ all_results = []
215
+
216
+ for i, story in enumerate(stories, 1):
217
+ result = classifier(story)
218
+ story_result = {
219
+ "historia": story,
220
+ "score": result['score_ambiguedad'],
221
+ "ambiguedades_lexicas": result['ambiguedad_lexica'],
222
+ "ambiguedades_sintacticas": result['ambiguedad_sintactica'],
223
+ "sugerencias": result['sugerencias']
224
+ }
225
+ all_results.append(story_result)
226
+
227
+ return json.dumps(all_results, indent=2, ensure_ascii=False)
228
 
229
+ # Crear la interfaz
230
+ with gr.Blocks(title="Detector de Ambigüedades en Historias de Usuario") as demo:
231
+ gr.Markdown("""
232
+ # 🔍 Detector de Ambigüedades en Historias de Usuario
233
+
234
+ Esta herramienta analiza historias de usuario en busca de ambigüedades léxicas y sintácticas,
235
+ proporcionando sugerencias para mejorarlas.
236
+
237
+ ## 📝 Instrucciones:
238
+ 1. Ingrese una historia de usuario en el campo de texto
239
+ 2. Haga clic en "Analizar"
240
+ 3. Revise los resultados y las sugerencias de mejora
241
+ """)
242
+
243
+ with gr.Tab("Análisis Individual"):
244
+ input_text = gr.Textbox(
245
+ label="Historia de Usuario",
246
+ placeholder="Como usuario quiero...",
247
+ lines=3
248
+ )
249
+ analyze_btn = gr.Button("Analizar")
250
+ output = gr.Textbox(
251
+ label="Resultados del Análisis",
252
+ lines=10
253
+ )
254
+ analyze_btn.click(
255
+ analyze_user_story,
256
+ inputs=[input_text],
257
+ outputs=[output]
258
+ )
259
+
260
+ with gr.Tab("Análisis Múltiple"):
261
+ input_stories = gr.Textbox(
262
+ label="Historias de Usuario (una por línea)",
263
+ placeholder="Como usuario quiero...\nComo administrador necesito...",
264
+ lines=5
265
+ )
266
+ analyze_multi_btn = gr.Button("Analizar Todas")
267
+ output_json = gr.JSON(label="Resultados del Análisis")
268
+ analyze_multi_btn.click(
269
+ analyze_multiple_stories,
270
+ inputs=[input_stories],
271
+ outputs=[output_json]
272
+ )
273
+
274
+ gr.Markdown("""
275
+ ## 🚀 Ejemplos de Uso
276
+
277
+ Pruebe con estas historias de usuario:
278
+ - Como usuario quiero un sistema rápido y eficiente para gestionar mis tareas
279
+ - El sistema debe permitir exportar varios tipos de archivos
280
+ - Como administrador necesito acceder fácilmente a los reportes
281
+ """)
282
 
283
  if __name__ == "__main__":
284
  print("\n" + "-"*30 + " App Starting " + "-"*30)
patterns.py ADDED
@@ -0,0 +1,206 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ """
2
+ Patrones comunes de ambigüedad en historias de usuario.
3
+ """
4
+
5
+ AMBIGUITY_PATTERNS = {
6
+ "lexicos": {
7
+ # Palabras con múltiples significados comunes
8
+ "fácil", "simple", "rápido", "eficiente",
9
+ "mejor", "adecuado", "apropiado",
10
+ "flexible", "dinámico", "intuitivo",
11
+ "amigable", "óptimo", "robusto",
12
+
13
+ # Cuantificadores ambiguos
14
+ "algunos", "varios", "muchos", "pocos",
15
+ "más", "menos", "suficiente",
16
+ "bastante", "demasiado", "aproximadamente",
17
+
18
+ # Temporales ambiguos
19
+ "pronto", "rápidamente", "periódicamente",
20
+ "regularmente", "ocasionalmente", "frecuentemente",
21
+ "en tiempo real", "instantáneamente", "ágilmente",
22
+
23
+ # Calificadores ambiguos
24
+ "moderno", "innovador", "avanzado",
25
+ "inteligente", "sofisticado", "elegante",
26
+
27
+ # Términos de usabilidad ambiguos
28
+ "user-friendly", "intuitivo", "natural",
29
+ "seamless", "fluido", "sin problemas"
30
+ },
31
+
32
+ "sintacticos": {
33
+ # Patrones de estructura ambigua
34
+ r"(.*?) y (.*?) con (.*?)", # Ambigüedad de alcance de "con"
35
+ r"no (.*?) y (.*?)", # Ambigüedad de alcance de negación
36
+ r"(.*?) o (.*?) y (.*?)", # Ambigüedad de operadores lógicos
37
+ r"(.*?) pero (.*?) si (.*?)", # Condiciones ambiguas
38
+ r"(.*?) cuando (.*?) o (.*?)", # Temporalidad ambigua
39
+ r"(.*?) excepto (.*?) y (.*?)", # Exclusiones ambiguas
40
+ r"(.*?) antes de (.*?) y (.*?)", # Secuencia temporal ambigua
41
+ r"(.*?) después de (.*?) o (.*?)", # Secuencia condicional ambigua
42
+ },
43
+
44
+ "semanticos": {
45
+ # Frases que suelen indicar ambigüedad
46
+ "si es posible",
47
+ "cuando sea necesario",
48
+ "si se requiere",
49
+ "según corresponda",
50
+ "como sea apropiado",
51
+ "en caso de ser necesario",
52
+ "dependiendo del caso",
53
+ "si aplica",
54
+ "cuando corresponda",
55
+ "si es factible",
56
+ "en la medida de lo posible",
57
+ "siempre que sea posible"
58
+ },
59
+
60
+ "contextuales": {
61
+ # Dependencias implícitas
62
+ r"(?i)similar a (.*?)", # Referencias vagas
63
+ r"(?i)como en (.*?)", # Comparaciones ambiguas
64
+ r"(?i)igual que (.*?)", # Referencias no específicas
65
+
66
+ # Suposiciones de conocimiento
67
+ r"(?i)de la manera usual",
68
+ r"(?i)como siempre",
69
+ r"(?i)de forma estándar",
70
+
71
+ # Referencias ambiguas
72
+ r"(?i)esto",
73
+ r"(?i)eso",
74
+ r"(?i)aquello",
75
+ r"(?i)lo mismo"
76
+ }
77
+ }
78
+
79
+ # Términos técnicos que no son ambiguos en el contexto
80
+ TECHNICAL_TERMS = {
81
+ # Autenticación y Seguridad
82
+ "OAuth", "autenticación", "autorización",
83
+ "token", "JWT", "SSO", "2FA", "MFA",
84
+
85
+ # Datos y Almacenamiento
86
+ "base de datos", "SQL", "NoSQL", "cache",
87
+ "índice", "backup", "restauración",
88
+
89
+ # Frontend
90
+ "responsive", "CSS", "HTML", "JavaScript",
91
+ "React", "Angular", "Vue", "DOM",
92
+
93
+ # Backend
94
+ "API", "REST", "GraphQL", "webhook",
95
+ "microservicio", "contenedor", "Docker",
96
+
97
+ # Operaciones
98
+ "logging", "monitoreo", "alertas",
99
+ "deployment", "CI/CD", "pipeline",
100
+
101
+ # Términos de negocio
102
+ "ROI", "KPI", "SLA", "métrica",
103
+ "dashboard", "reporte", "análisis"
104
+ }
105
+
106
+ # Patrones de estructura de historia de usuario
107
+ USER_STORY_PATTERNS = {
108
+ 'estandar': r"(?i)^como\s+(.+?),?\s+quiero\s+(.+?)(?:\s+para\s+(?:que\s+)?(.+))?$",
109
+ 'modal': r"(?i)^(?:un|una|el|la)\s+(.+?)\s+(?:puede|debe|debería)\s+(.+?)(?:\s+para\s+(?:que\s+)?(.+))?$",
110
+ 'pasiva': r"(?i)^(?:el|la|los|las)\s+(.+?)\s+(?:debe|deben|debería|deberían)\s+(?:ser|estar)\s+(.+?)(?:\s+para\s+(?:que\s+)?(.+))?$",
111
+ 'declarativa': r"(?i)^(?:los|las)\s+(.+?)\s+(?:deben|deberían)\s+(.+?)(?:\s+para\s+(?:que\s+)?(.+))?$",
112
+ 'necesidad': r"(?i)^(?:necesito|necesitamos|se\s+necesita)\s+(.+?)(?:\s+para\s+(?:que\s+)?(.+))?$",
113
+ 'deseo': r"(?i)^(?:deseo|deseamos|se\s+desea)\s+(.+?)(?:\s+para\s+(?:que\s+)?(.+))?$"
114
+ }
115
+
116
+ # Patrones para detectar ambigüedades léxicas
117
+ PATRONES_AMBIGUEDAD_LEXICA = [
118
+ {
119
+ "patron": r"\b(rápido|eficiente|fácil|simple|intuitivo|amigable|flexible|robusto)\b(?![^{]*\})",
120
+ "tipo": "adjetivo_subjetivo",
121
+ "descripcion": "Uso de adjetivos subjetivos que pueden interpretarse de diferentes maneras"
122
+ },
123
+ {
124
+ "patron": r"\b(varios|algunos|muchos|pocos|diversos|múltiples)\b(?!\s+(?:formatos?|tipos?|archivos?|reportes?)\s+(?:como|:|\(|\{))",
125
+ "tipo": "cuantificador_ambiguo",
126
+ "descripcion": "Uso de cuantificadores ambiguos que no especifican una cantidad concreta"
127
+ },
128
+ {
129
+ "patron": r"\b(etc|etcétera|entre otros|y más|y otros)\b",
130
+ "tipo": "enumeracion_incompleta",
131
+ "descripcion": "Uso de expresiones que dejan la enumeración incompleta o abierta"
132
+ },
133
+ {
134
+ "patron": r"\b(sistema|aplicación|plataforma|herramienta|solución)\b(?!\s+(?:debe|debería|tiene que|ha de))",
135
+ "tipo": "termino_generico",
136
+ "descripcion": "Uso de términos genéricos que no especifican la funcionalidad concreta"
137
+ }
138
+ ]
139
+
140
+ # Patrones para detectar ambigüedades sintácticas
141
+ PATRONES_AMBIGUEDAD_SINTACTICA = [
142
+ {
143
+ "patron": r"(?i)(?<![\w{])(y|o|y/o)(?!\s+(?:\d+|\{|\w+\s*[=:<>]))",
144
+ "tipo": "coordinacion_ambigua",
145
+ "descripcion": "Uso de coordinaciones que pueden crear ambigüedad en la interpretación"
146
+ },
147
+ {
148
+ "patron": r"(?i)\b(esto|eso|aquello|el cual|la cual|lo cual|que)\b(?!\s+(?:significa|implica|requiere|incluye))",
149
+ "tipo": "referencia_ambigua",
150
+ "descripcion": "Uso de referencias ambiguas que pueden tener múltiples antecedentes"
151
+ },
152
+ {
153
+ "patron": r"(?i)\b(si|cuando|mientras|después|antes|luego)\b(?!\s+(?:el|la|los|las|se)\s+(?:\w+\s+){0,3}(?:\d+|específico|definido))",
154
+ "tipo": "condicion_temporal_ambigua",
155
+ "descripcion": "Uso de condiciones o referencias temporales ambiguas"
156
+ },
157
+ {
158
+ "patron": r"(?i)(poder|deber|necesitar|querer)\s+\w+\s+(y|o)\s+\w+(?!\s+(?:en|durante|cada|por)\s+(?:\d+|un|una)\s+(?:segundo|minuto|hora)s?)",
159
+ "tipo": "alcance_verbo_modal",
160
+ "descripcion": "Ambigüedad en el alcance de verbos modales con múltiples acciones"
161
+ }
162
+ ]
163
+
164
+ # Sugerencias de mejora para cada tipo de ambigüedad
165
+ SUGERENCIAS_MEJORA = {
166
+ "adjetivo_subjetivo": [
167
+ "Especificar métricas o criterios medibles (ej: tiempo de respuesta en segundos)",
168
+ "Definir valores concretos o rangos aceptables",
169
+ "Usar términos más específicos y cuantificables"
170
+ ],
171
+ "cuantificador_ambiguo": [
172
+ "Especificar cantidades exactas o rangos definidos",
173
+ "Listar explícitamente los elementos o tipos",
174
+ "Definir límites mínimos y máximos"
175
+ ],
176
+ "enumeracion_incompleta": [
177
+ "Listar todos los elementos requeridos",
178
+ "Especificar criterios de inclusión/exclusión",
179
+ "Definir el alcance completo de la funcionalidad"
180
+ ],
181
+ "termino_generico": [
182
+ "Especificar la funcionalidad concreta",
183
+ "Describir las características técnicas específicas",
184
+ "Detallar los componentes o módulos involucrados"
185
+ ],
186
+ "coordinacion_ambigua": [
187
+ "Separar en historias de usuario independientes",
188
+ "Usar listas numeradas o viñetas para clarificar",
189
+ "Especificar la relación entre los elementos"
190
+ ],
191
+ "referencia_ambigua": [
192
+ "Repetir el sustantivo al que se hace referencia",
193
+ "Usar referencias específicas y directas",
194
+ "Evitar pronombres ambiguos"
195
+ ],
196
+ "condicion_temporal_ambigua": [
197
+ "Especificar intervalos de tiempo exactos",
198
+ "Definir el orden preciso de las acciones",
199
+ "Usar referencias temporales específicas (ej: cada 5 minutos)"
200
+ ],
201
+ "alcance_verbo_modal": [
202
+ "Separar las acciones en requisitos independientes",
203
+ "Especificar las condiciones para cada acción",
204
+ "Definir la prioridad o secuencia de las acciones"
205
+ ]
206
+ }
requirements.txt CHANGED
@@ -1,2 +1,14 @@
1
- gradio
2
- requests
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ gradio>=5.25.2
2
+ requests
3
+ spacy>=3.7.0
4
+ es-core-news-sm @ https://github.com/explosion/spacy-models/releases/download/es_core_news_sm-3.7.0/es_core_news_sm-3.7.0-py3-none-any.whl
5
+ pytest>=8.0.0
6
+ typing-extensions>=4.9.0
7
+ nltk>=3.8.1
8
+ gradio>=4.19.2
9
+ requests>=2.31.0
10
+ pandas>=2.2.0
11
+ transformers>=4.30.0
12
+ torch>=2.0.0
13
+ numpy>=1.24.0
14
+ setuptools>=69.1.0