RamsesDIIP
commited on
Commit
•
208955f
1
Parent(s):
a6f7abe
Add new SentenceTransformer model
Browse files- .gitattributes +1 -0
- 1_Pooling/config.json +10 -0
- 3_MyLinearAdapter/adapter_model.bin +3 -0
- README.md +573 -0
- config.json +28 -0
- config_sentence_transformers.json +10 -0
- model.safetensors +3 -0
- modules.json +26 -0
- sentence_bert_config.json +4 -0
- sentencepiece.bpe.model +3 -0
- special_tokens_map.json +51 -0
- tokenizer.json +3 -0
- tokenizer_config.json +54 -0
.gitattributes
CHANGED
@@ -33,3 +33,4 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
|
|
33 |
*.zip filter=lfs diff=lfs merge=lfs -text
|
34 |
*.zst filter=lfs diff=lfs merge=lfs -text
|
35 |
*tfevents* filter=lfs diff=lfs merge=lfs -text
|
|
|
|
33 |
*.zip filter=lfs diff=lfs merge=lfs -text
|
34 |
*.zst filter=lfs diff=lfs merge=lfs -text
|
35 |
*tfevents* filter=lfs diff=lfs merge=lfs -text
|
36 |
+
tokenizer.json filter=lfs diff=lfs merge=lfs -text
|
1_Pooling/config.json
ADDED
@@ -0,0 +1,10 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
+
{
|
2 |
+
"word_embedding_dimension": 1024,
|
3 |
+
"pooling_mode_cls_token": false,
|
4 |
+
"pooling_mode_mean_tokens": true,
|
5 |
+
"pooling_mode_max_tokens": false,
|
6 |
+
"pooling_mode_mean_sqrt_len_tokens": false,
|
7 |
+
"pooling_mode_weightedmean_tokens": false,
|
8 |
+
"pooling_mode_lasttoken": false,
|
9 |
+
"include_prompt": true
|
10 |
+
}
|
3_MyLinearAdapter/adapter_model.bin
ADDED
@@ -0,0 +1,3 @@
|
|
|
|
|
|
|
|
|
1 |
+
version https://git-lfs.github.com/spec/v1
|
2 |
+
oid sha256:549b3c040170c6ef94cd0f0211b09c1e649462c6d0e9fe0f4092f5f508d419a4
|
3 |
+
size 4199996
|
README.md
ADDED
@@ -0,0 +1,573 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
+
---
|
2 |
+
base_model: intfloat/multilingual-e5-large
|
3 |
+
language:
|
4 |
+
- multilingual
|
5 |
+
library_name: sentence-transformers
|
6 |
+
license: apache-2.0
|
7 |
+
metrics:
|
8 |
+
- cosine_accuracy
|
9 |
+
- dot_accuracy
|
10 |
+
- manhattan_accuracy
|
11 |
+
- euclidean_accuracy
|
12 |
+
- max_accuracy
|
13 |
+
pipeline_tag: sentence-similarity
|
14 |
+
tags:
|
15 |
+
- sentence-transformers
|
16 |
+
- sentence-similarity
|
17 |
+
- feature-extraction
|
18 |
+
- generated_from_trainer
|
19 |
+
- dataset_size:4236
|
20 |
+
- loss:TripletLoss
|
21 |
+
widget:
|
22 |
+
- source_sentence: 'query: Hormigonado de muros de contención (CE, EHE), de 3 m de
|
23 |
+
altura como máximo, con hormigón en masa HM - 35 / B / 20 / XA3 con una cantidad
|
24 |
+
de cemento de 325 kg/m3 i relación agua cemento =< 0.45 y vertido con cubilote'
|
25 |
+
sentences:
|
26 |
+
- 'passage: Caja para interceptor de 80x50 cm, construida con paredes de 30 cm de
|
27 |
+
espesor de ladrillo hueco, revestida y alisada en su interior con mortero de cemento
|
28 |
+
1:4, sobre una base de 15 cm de hormigón estructural HM - 20 / B / 20 / X0 con
|
29 |
+
una dosificación de cemento de 200 kg/m3 y relación agua-cemento <= 0.6, en un
|
30 |
+
entorno urbano con accesibilidad adecuada, en aceras de más de 3 y hasta 5 m de
|
31 |
+
ancho o calzada/plataforma única de más de 7 y hasta 12 m de ancho, considerando
|
32 |
+
la interferencia de servicios o elementos de mobiliario urbano, en intervenciones
|
33 |
+
de hasta 1 m.'
|
34 |
+
- 'passage: Hormigonado de muros de soporte (CE, EHE), de 4 m de altura como mínimo,
|
35 |
+
con hormigón estructural H - 30 / B / 25 / XA2 con una cantidad de cemento de
|
36 |
+
300 kg/m3 y relación agua cemento =< 0.50 y vertido con bomba de hormigón.'
|
37 |
+
- 'passage: Colocación de muros de contención de hasta 3 m de altura, utilizando
|
38 |
+
hormigón en masa HM - 35 / B / 20 / XA3, con una dosificación de cemento de 325
|
39 |
+
kg/m3 y una relación agua-cemento menor o igual a 0.45, vertido mediante cubilote.'
|
40 |
+
- source_sentence: 'query: Derivación con ramal a 45° de polietileno, diámetro nominal
|
41 |
+
DN 400, diámetro ramal DN 400, conexión macho-hembra, de superficies interna lisa
|
42 |
+
y externa perfilada, de fabricación manipulada según norma UNE-EN 13476-3, apta
|
43 |
+
para tubo de saneamiento enterrado sin presión de superficies interna lisa y externa
|
44 |
+
perfilada según norma UNE-EN 13476-3, para unión elástica con anilla elastomérica
|
45 |
+
de estanqueidad, colocado sobre lecho de arena de 15 cm de espesor, incluído el
|
46 |
+
relleno del apoyo, con pisón vibrante eléctrico'
|
47 |
+
sentences:
|
48 |
+
- 'passage: Tobera ajustable manualmente para montaje en el extremo de un conducto
|
49 |
+
circular de 160 mm de diámetro de conexión y 80 mm de diámetro de salida, fabricada
|
50 |
+
en aluminio pintado en color estándar, instalada.'
|
51 |
+
- 'passage: Derivación con ramal a 30° de polietileno, diámetro nominal DN 500,
|
52 |
+
diámetro ramal DN 300, conexión soldada, de superficies interna rugosa y externa
|
53 |
+
lisa, de fabricación estándar según norma UNE-EN 1452-2, apta para tubo de desagüe
|
54 |
+
superficial sin presión de superficies interna rugosa y externa lisa según norma
|
55 |
+
UNE-EN 1452-2, para unión rígida con junta de cemento, colocado sobre lecho de
|
56 |
+
grava de 20 cm de espesor, excluido el relleno del apoyo, con compactador manual.'
|
57 |
+
- 'passage: Derivación con ramal a 45° de polietileno, diámetro nominal DN 400,
|
58 |
+
conexión macho-hembra, con superficies internas lisas y externas perfiladas, fabricada
|
59 |
+
conforme a la norma UNE-EN 13476-3, adecuada para sistemas de saneamiento enterrados
|
60 |
+
sin presión, unida mediante anilla elastomérica de estanqueidad, instalada sobre
|
61 |
+
un lecho de arena de 15 cm de espesor, incluyendo el relleno del soporte, utilizando
|
62 |
+
un pisón vibrante eléctrico.'
|
63 |
+
- source_sentence: 'query: Pared divisoria para interior de panel de madera contralaminada
|
64 |
+
de 80 mm de espesor formada por 3 capas de madera de abeto C24, encoladas con
|
65 |
+
adhesivo sin urea-formaldehído con la disposición transversal de la madera en
|
66 |
+
las dos caras del panel, sin tratmiento hidrófugo, con acabado superficial tipo
|
67 |
+
vivienda en las dos caras con madera de abeto rojo barnizado en una cara y con
|
68 |
+
madera de abeto rojo barnizado en la otra en la otra colocado con fijaciones mecánicas,
|
69 |
+
desolidarización del soporte con banda resiliente de caucho EPDM extruido, fijada
|
70 |
+
con grapas; unión entre paneles machihembrado fijados con tornillos de acero y
|
71 |
+
sellado de la cara interior de los juntas con cinta adhesiva de goma butílica,
|
72 |
+
con armadura de poliéster y sellado de la cara exterior con cinta autoadhesiva
|
73 |
+
de polietileno con adhesivo acrílico sin disolventes, con armadura de polietileno
|
74 |
+
y película de separación de papel siliconado, previa aplicación de imprimación
|
75 |
+
incolora a base de una dispersión acrílica sin disolventes; resolución de trabas
|
76 |
+
con tornillos de acero; fijación de paneles con elementos de acero galvanizado'
|
77 |
+
sentences:
|
78 |
+
- 'passage: Pared divisoria para interior de panel de yeso laminado de 100 mm de
|
79 |
+
espesor formada por 2 capas de yeso, encoladas con adhesivo a base de agua, con
|
80 |
+
la disposición vertical del yeso en las dos caras del panel, con tratamiento hidrófugo,
|
81 |
+
con acabado superficial tipo industrial en las dos caras con pintura acrílica
|
82 |
+
en una cara y con pintura epóxica en la otra, colocado con fijaciones químicas,
|
83 |
+
desolidarización del soporte con banda de espuma de poliuretano, fijada con adhesivo;
|
84 |
+
unión entre paneles con sistema de encastre fijados con anclajes de plástico y
|
85 |
+
sellado de la cara interior de las juntas con masilla acrílica, con refuerzo de
|
86 |
+
fibra de vidrio y sellado de la cara exterior con cinta autoadhesiva de aluminio,
|
87 |
+
con armadura de aluminio y película de separación de papel kraft, previa aplicación
|
88 |
+
de imprimación colorida a base de una dispersión acrílica; resolución de trabas
|
89 |
+
con anclajes de plástico; fijación de paneles con elementos de acero inoxidable.'
|
90 |
+
- 'passage: Instalación de un sistema de dos ascensores en configuración de descenso
|
91 |
+
combinado, sin sala de máquinas, cada uno equipado con un sistema de tracción
|
92 |
+
directa y un perfil de aceleración y desaceleración suave, operando a una velocidad
|
93 |
+
de 1 m/s, diseñado para un uso moderado, con capacidad para 6 personas (carga
|
94 |
+
máxima de 480 kg), 11 paradas (recorrido total de 30 m), cabina de calidad estándar
|
95 |
+
con dimensiones de 1250x1000 mm, acceso doble a 90º con puertas automáticas de
|
96 |
+
tres hojas de acero inoxidable de 800x2000 mm, y puertas de acceso automáticas
|
97 |
+
de tres hojas pintadas de calidad estándar de 800x2000 mm, cumpliendo con la normativa
|
98 |
+
CE según el REAL DECRETO 203/2016.'
|
99 |
+
- 'passage: Pared interior de panel de madera contralaminada de 80 mm de grosor
|
100 |
+
compuesta por tres capas de madera de abeto C24, unidas con adhesivo libre de
|
101 |
+
urea-formaldehído, con la disposición de la madera en sentido transversal en ambas
|
102 |
+
caras, sin tratamiento hidrófugo, y con un acabado de vivienda en ambas caras
|
103 |
+
utilizando madera de abeto rojo barnizada, instalada con fijaciones mecánicas
|
104 |
+
y desolidarización del soporte mediante banda resiliente de caucho EPDM, fijada
|
105 |
+
con grapas; unión entre paneles mediante machihembrado y tornillos de acero, sellando
|
106 |
+
las juntas interiores con cinta de goma butílica y la cara exterior con cinta
|
107 |
+
autoadhesiva de polietileno con adhesivo acrílico sin disolventes, además de aplicar
|
108 |
+
una imprimación acrílica incolora antes de la instalación; resolución de trabas
|
109 |
+
con tornillos de acero y fijación de paneles con elementos de acero galvanizado.'
|
110 |
+
- source_sentence: 'query: Pavimento de losa de hormigón para pavimentos de 60x40
|
111 |
+
cm y 6 cm de espesor, de forma rectangular, textura pétrea lisa, precio superior,
|
112 |
+
colocados con mortero de cemento 1:6, en entorno urbano con dificultad de mobilidad,
|
113 |
+
en aceras <= 3 m de ancho o calzada/plataforma única <= 7 m de ancho, sin afectación
|
114 |
+
por servicios o elementos de mobiliario urbano, en actuaciones de 1 a 10 m2'
|
115 |
+
sentences:
|
116 |
+
- 'passage: Losas de concreto de 60x40 cm y 6 cm de grosor, con acabado liso y textura
|
117 |
+
pétrea, instaladas con mortero de cemento en proporción 1:6, adecuadas para áreas
|
118 |
+
urbanas con acceso limitado, en aceras de hasta 3 m de ancho o plataformas de
|
119 |
+
hasta 7 m de ancho, sin interferencias de servicios o mobiliario urbano, en proyectos
|
120 |
+
de entre 1 y 10 m2.'
|
121 |
+
- 'passage: Pavimento de losa de cerámica para pavimentos de 60x40 cm y 6 cm de
|
122 |
+
espesor, de forma cuadrada, textura rugosa, precio inferior, colocados con adhesivo
|
123 |
+
especial 1:4, en entorno rural con fácil acceso, en caminos <= 3 m de ancho o
|
124 |
+
sendero/plataforma única <= 7 m de ancho, con afectación por servicios o elementos
|
125 |
+
de jardinería, en actuaciones de 1 a 20 m2.'
|
126 |
+
- 'passage: Vertido de dinteles utilizando hormigón autocompactante con aditivo
|
127 |
+
hidrófugo HP - 40 / AC / 10 / XC2, con una dosificación de cemento de 350 kg/m3
|
128 |
+
y una relación agua-cemento menor o igual a 0.45, realizado con cubilote.'
|
129 |
+
- source_sentence: 'query: Arco circular estructural a sardinel, de espesor 24 cm
|
130 |
+
y 24 cm de anchura, de ladrillo perforado R-10, de 240x115x70 mm, para revestir,
|
131 |
+
categoría I, HD, según la norma UNE-EN 771-1, colocado con mortero cemento 1:3'
|
132 |
+
sentences:
|
133 |
+
- 'passage: Ventana de aluminio anodizado en acabado natural, instalada sobre un
|
134 |
+
premarco, con dos hojas deslizantes y una hoja fija lateral o central, diseñada
|
135 |
+
para un hueco de obra de aproximadamente 180x120 cm, fabricada con perfiles de
|
136 |
+
alta calidad, con una clasificación mínima de 3 en permeabilidad al aire según
|
137 |
+
UNE-EN 12207, clasificación mínima 7A en estanqueidad al agua según UNE-EN 12208
|
138 |
+
y clasificación mínima C3 en resistencia al viento según UNE-EN 12210, sin sistema
|
139 |
+
de persiana.'
|
140 |
+
- 'passage: Arco estructural de forma circular, con un espesor de 24 cm y una anchura
|
141 |
+
de 24 cm, fabricado con ladrillo perforado R-10 de dimensiones 240x115x70 mm,
|
142 |
+
destinado a revestimiento, categoría I, HD, conforme a la norma UNE-EN 771-1,
|
143 |
+
instalado con mortero de cemento en proporción 1:3.'
|
144 |
+
- 'passage: Arco semicircular decorativo a pie de muro, de espesor 30 cm y 20 cm
|
145 |
+
de anchura, de ladrillo macizo R-15, de 300x150x75 mm, para acabado, categoría
|
146 |
+
II, LD, según la norma UNE-EN 771-2, colocado con mortero cal 1:4.'
|
147 |
+
model-index:
|
148 |
+
- name: Multilingual E5 Large with Linear Adapter for Construction Terms
|
149 |
+
results:
|
150 |
+
- task:
|
151 |
+
type: triplet
|
152 |
+
name: Triplet
|
153 |
+
dataset:
|
154 |
+
name: validation set
|
155 |
+
type: validation-set
|
156 |
+
metrics:
|
157 |
+
- type: cosine_accuracy
|
158 |
+
value: 0.996219281663516
|
159 |
+
name: Cosine Accuracy
|
160 |
+
- type: dot_accuracy
|
161 |
+
value: 0.003780718336483932
|
162 |
+
name: Dot Accuracy
|
163 |
+
- type: manhattan_accuracy
|
164 |
+
value: 0.996219281663516
|
165 |
+
name: Manhattan Accuracy
|
166 |
+
- type: euclidean_accuracy
|
167 |
+
value: 0.996219281663516
|
168 |
+
name: Euclidean Accuracy
|
169 |
+
- type: max_accuracy
|
170 |
+
value: 0.996219281663516
|
171 |
+
name: Max Accuracy
|
172 |
+
---
|
173 |
+
|
174 |
+
# Multilingual E5 Large with Linear Adapter for Construction Terms
|
175 |
+
|
176 |
+
This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [intfloat/multilingual-e5-large](https://huggingface.co/intfloat/multilingual-e5-large). It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
|
177 |
+
|
178 |
+
## Model Details
|
179 |
+
|
180 |
+
### Model Description
|
181 |
+
- **Model Type:** Sentence Transformer
|
182 |
+
- **Base model:** [intfloat/multilingual-e5-large](https://huggingface.co/intfloat/multilingual-e5-large) <!-- at revision ab10c1a7f42e74530fe7ae5be82e6d4f11a719eb -->
|
183 |
+
- **Maximum Sequence Length:** 512 tokens
|
184 |
+
- **Output Dimensionality:** 1024 tokens
|
185 |
+
- **Similarity Function:** Cosine Similarity
|
186 |
+
<!-- - **Training Dataset:** Unknown -->
|
187 |
+
- **Language:** multilingual
|
188 |
+
- **License:** apache-2.0
|
189 |
+
|
190 |
+
### Model Sources
|
191 |
+
|
192 |
+
- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
|
193 |
+
- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
|
194 |
+
- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
|
195 |
+
|
196 |
+
### Full Model Architecture
|
197 |
+
|
198 |
+
```
|
199 |
+
SentenceTransformer(
|
200 |
+
(0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel
|
201 |
+
(1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
|
202 |
+
(2): Normalize()
|
203 |
+
(linear_adapter): MyLinearAdapter(
|
204 |
+
(linear): Linear(in_features=1024, out_features=1024, bias=True)
|
205 |
+
)
|
206 |
+
)
|
207 |
+
```
|
208 |
+
|
209 |
+
## Usage
|
210 |
+
|
211 |
+
### Direct Usage (Sentence Transformers)
|
212 |
+
|
213 |
+
First install the Sentence Transformers library:
|
214 |
+
|
215 |
+
```bash
|
216 |
+
pip install -U sentence-transformers
|
217 |
+
```
|
218 |
+
|
219 |
+
Then you can load this model and run inference.
|
220 |
+
```python
|
221 |
+
from sentence_transformers import SentenceTransformer
|
222 |
+
|
223 |
+
# Download from the 🤗 Hub
|
224 |
+
model = SentenceTransformer("RamsesDIIP/me5-large-construction-adapter-v3")
|
225 |
+
# Run inference
|
226 |
+
sentences = [
|
227 |
+
'query: Arco circular estructural a sardinel, de espesor 24 cm y 24 cm de anchura, de ladrillo perforado R-10, de 240x115x70 mm, para revestir, categoría I, HD, según la norma UNE-EN 771-1, colocado con mortero cemento 1:3',
|
228 |
+
'passage: Arco estructural de forma circular, con un espesor de 24 cm y una anchura de 24 cm, fabricado con ladrillo perforado R-10 de dimensiones 240x115x70 mm, destinado a revestimiento, categoría I, HD, conforme a la norma UNE-EN 771-1, instalado con mortero de cemento en proporción 1:3.',
|
229 |
+
'passage: Arco semicircular decorativo a pie de muro, de espesor 30 cm y 20 cm de anchura, de ladrillo macizo R-15, de 300x150x75 mm, para acabado, categoría II, LD, según la norma UNE-EN 771-2, colocado con mortero cal 1:4.',
|
230 |
+
]
|
231 |
+
embeddings = model.encode(sentences)
|
232 |
+
print(embeddings.shape)
|
233 |
+
# [3, 1024]
|
234 |
+
|
235 |
+
# Get the similarity scores for the embeddings
|
236 |
+
similarities = model.similarity(embeddings, embeddings)
|
237 |
+
print(similarities.shape)
|
238 |
+
# [3, 3]
|
239 |
+
```
|
240 |
+
|
241 |
+
<!--
|
242 |
+
### Direct Usage (Transformers)
|
243 |
+
|
244 |
+
<details><summary>Click to see the direct usage in Transformers</summary>
|
245 |
+
|
246 |
+
</details>
|
247 |
+
-->
|
248 |
+
|
249 |
+
<!--
|
250 |
+
### Downstream Usage (Sentence Transformers)
|
251 |
+
|
252 |
+
You can finetune this model on your own dataset.
|
253 |
+
|
254 |
+
<details><summary>Click to expand</summary>
|
255 |
+
|
256 |
+
</details>
|
257 |
+
-->
|
258 |
+
|
259 |
+
<!--
|
260 |
+
### Out-of-Scope Use
|
261 |
+
|
262 |
+
*List how the model may foreseeably be misused and address what users ought not to do with the model.*
|
263 |
+
-->
|
264 |
+
|
265 |
+
## Evaluation
|
266 |
+
|
267 |
+
### Metrics
|
268 |
+
|
269 |
+
#### Triplet
|
270 |
+
* Dataset: `validation-set`
|
271 |
+
* Evaluated with [<code>TripletEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.TripletEvaluator)
|
272 |
+
|
273 |
+
| Metric | Value |
|
274 |
+
|:-------------------|:-----------|
|
275 |
+
| cosine_accuracy | 0.9962 |
|
276 |
+
| dot_accuracy | 0.0038 |
|
277 |
+
| manhattan_accuracy | 0.9962 |
|
278 |
+
| euclidean_accuracy | 0.9962 |
|
279 |
+
| **max_accuracy** | **0.9962** |
|
280 |
+
|
281 |
+
<!--
|
282 |
+
## Bias, Risks and Limitations
|
283 |
+
|
284 |
+
*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
|
285 |
+
-->
|
286 |
+
|
287 |
+
<!--
|
288 |
+
### Recommendations
|
289 |
+
|
290 |
+
*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
|
291 |
+
-->
|
292 |
+
|
293 |
+
## Training Details
|
294 |
+
|
295 |
+
### Training Dataset
|
296 |
+
|
297 |
+
#### Unnamed Dataset
|
298 |
+
|
299 |
+
|
300 |
+
* Size: 4,236 training samples
|
301 |
+
* Columns: <code>anchor</code>, <code>positive</code>, and <code>negative</code>
|
302 |
+
* Approximate statistics based on the first 1000 samples:
|
303 |
+
| | anchor | positive | negative |
|
304 |
+
|:--------|:-------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------|
|
305 |
+
| type | string | string | string |
|
306 |
+
| details | <ul><li>min: 28 tokens</li><li>mean: 108.53 tokens</li><li>max: 320 tokens</li></ul> | <ul><li>min: 24 tokens</li><li>mean: 105.47 tokens</li><li>max: 287 tokens</li></ul> | <ul><li>min: 21 tokens</li><li>mean: 97.96 tokens</li><li>max: 304 tokens</li></ul> |
|
307 |
+
* Samples:
|
308 |
+
| anchor | positive | negative |
|
309 |
+
|:----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
|
310 |
+
| <code>query: Losa aligerada de hormigón armado hormigón para armar con aditivo hidrófugo HA - 30 / F / 10 / XC2 con una cantidad de cemento de 300 kg/m3 i relación agua cemento =< 0.6 de 40 cm de canto, con capa superior e inferior de hormigón de 7.5/7,5 cm, armado de la capa inferior con malla electrosoldada de barras corrugadas de acero B500SD, ME 20x20 cm D:8-8 mm, y armado de la capa superior con malla electrosoldada de barras corrugadas de acero B500SD, ME 20x20 cm D:6-6 mm, con una cuantía de 0,45 m2/m2 de aligeradores de poliestireno expandido, interejes de 120 cm, nervios de 40 cm de espesor, armados con 30 kg/m2 de acero en barras corrugadas, utilizando encofrado para dejar el hormigón visto de <= 5 m de altura, hormigonado con bomba</code> | <code>passage: Losa aligerada de concreto reforzado con aditivo impermeabilizante HA - 30 / F / 10 / XC2, con una dosificación de cemento de 300 kg/m3 y una relación agua-cemento menor o igual a 0.6, de 40 cm de espesor, con capas superior e inferior de concreto de 7.5 cm cada una, reforzada en la capa inferior con malla electrosoldada de acero B500SD, ME 20x20 cm D:8-8 mm, y en la capa superior con malla electrosoldada de acero B500SD, ME 20x20 cm D:6-6 mm, incorporando 0,45 m2/m2 de poliestireno expandido como aligerante, con nervios de 40 cm de grosor, reforzados con 30 kg/m2 de acero en varillas corrugadas, utilizando encofrado para un acabado de hormigón expuesto de hasta 5 m de altura, vertido con bomba.</code> | <code>passage: Losa de concreto convencional con aditivo retardante para fraguado, con una cantidad de cemento de 350 kg/m3 y relación agua-cemento =< 0.5 de 30 cm de canto, con capa superior e inferior de concreto de 10/10 cm, armado de la capa inferior con malla de alambre de acero B500S, ME 15x15 cm D:10-10 mm, y armado de la capa superior con malla de alambre de acero B500S, ME 15x15 cm D:8-8 mm, con una cuantía de 0,50 m2/m2 de aligeradores de poliestireno extruido, interejes de 100 cm, nervios de 30 cm de espesor, armados con 25 kg/m2 de acero en barras lisas, utilizando encofrado para dejar el concreto cubierto de <= 4 m de altura, hormigonado manualmente.</code> |
|
311 |
+
| <code>query: Base de hormigón (CE, EHE) hormigón HM-20/S / 40 / I de consistencia seca, tamaño máximo del árido 40 mm, con >= 200 kg/m3 de cemento, apto para clase de exposición I, vertido con transporte interior mecánico con extendido y vibrado manual, con acabado maestreado, en entorno urbano sin dificultad de movilidad, en aceras > 3 y <= 5 m de ancho o calzada/plataforma única > 7 y <= 12 m de ancho, con afectación por servicios o elementos de mobiliario urbano, en actuaciones de 0.2 a 2 m3, con dúmper de gasoil</code> | <code>passage: Base de concreto (CE, EHE) concreto HM-20/S / 40 / I de consistencia seca, con un tamaño máximo de agregado de 40 mm, conteniendo >= 200 kg/m3 de cemento, adecuado para clase de exposición I, vertido mediante transporte mecánico interno, extendido y vibrado manual, con acabado nivelado, en un entorno urbano con movilidad accesible, en aceras de más de 3 y hasta 5 m de ancho o calzada/plataforma única de más de 7 y hasta 12 m de ancho, afectado por servicios o elementos de mobiliario urbano, en trabajos de 0.2 a 2 m3, utilizando un camión de gasóleo.</code> | <code>passage: Base de hormigón (CE, EHE) hormigón HM-25/S / 50 / II de consistencia fluida, tamaño máximo del árido 30 mm, con >= 250 kg/m3 de cemento, apto para clase de exposición II, vertido con transporte interior manual con extendido y vibrado mecánico, con acabado rugoso, en entorno rural con dificultad de movilidad, en aceras > 2 y <= 4 m de ancho o calzada/plataforma única > 6 y <= 10 m de ancho, sin afectación por servicios o elementos de mobiliario urbano, en actuaciones de 1 a 3 m3, con camión de gasóleo.</code> |
|
312 |
+
| <code>query: Pavimento de losa de hormigón para pavimentos de 80x80 cm y 3,5 cm de espesor, de forma cuadrado, textura abujardada, precio alto, sobre lecho de arena de 3 cm de espesor, con relleno de juntas con arena fina y compactación del pavimento acabado, en entorno urbano sin dificultad de movilidad, en aceras <= 3 m de ancho o calzada/plataforma única <= 7 m de ancho, sin afectación por servicios o elementos de mobiliario urbano, en actuaciones de hasta 1 m2</code> | <code>passage: Losas de concreto de 80x80 cm y 3,5 cm de grosor, con acabado abujardado, instaladas sobre una base de arena de 3 cm, con juntas rellenadas con arena fina y compactación final, adecuadas para áreas urbanas con accesibilidad, en aceras de hasta 3 m de ancho o plataformas de hasta 7 m, sin interferencias de servicios públicos o mobiliario urbano, en proyectos de hasta 1 m2.</code> | <code>passage: Pavimento de losa de cerámica para pavimentos de 60x60 cm y 2 cm de espesor, de forma rectangular, textura lisa, precio moderado, sobre base de grava de 2 cm de espesor, con relleno de juntas con mortero y nivelación del pavimento terminado, en entorno rural con dificultad de acceso, en caminos <= 2 m de ancho o senderos/plataformas múltiples <= 5 m de ancho, con afectación por servicios o elementos de jardinería, en actuaciones de hasta 2 m2.</code> |
|
313 |
+
* Loss: [<code>TripletLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#tripletloss) with these parameters:
|
314 |
+
```json
|
315 |
+
{
|
316 |
+
"distance_metric": "TripletDistanceMetric.EUCLIDEAN",
|
317 |
+
"triplet_margin": 3
|
318 |
+
}
|
319 |
+
```
|
320 |
+
|
321 |
+
### Evaluation Dataset
|
322 |
+
|
323 |
+
#### Unnamed Dataset
|
324 |
+
|
325 |
+
|
326 |
+
* Size: 529 evaluation samples
|
327 |
+
* Columns: <code>anchor</code>, <code>positive</code>, and <code>negative</code>
|
328 |
+
* Approximate statistics based on the first 529 samples:
|
329 |
+
| | anchor | positive | negative |
|
330 |
+
|:--------|:------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------|
|
331 |
+
| type | string | string | string |
|
332 |
+
| details | <ul><li>min: 28 tokens</li><li>mean: 109.1 tokens</li><li>max: 320 tokens</li></ul> | <ul><li>min: 29 tokens</li><li>mean: 105.07 tokens</li><li>max: 284 tokens</li></ul> | <ul><li>min: 28 tokens</li><li>mean: 98.9 tokens</li><li>max: 303 tokens</li></ul> |
|
333 |
+
* Samples:
|
334 |
+
| anchor | positive | negative |
|
335 |
+
|:-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
|
336 |
+
| <code>query: Canal de hormigón polímero sin pendiente, de ancho interior 100 mm y de 160 a 200 mm de altura, con perfil lateral, con rejilla de acero inoxidable nervada clase A15, según norma UNE-EN 1433, fijada con cancela al canal, colocado sobre base de hormigón con solera de 100 mm de espesor y paredes de 100 mm de espesor</code> | <code>passage: Canal de polímero de hormigón plano, con un ancho interno de 100 mm y una altura que varía entre 160 y 200 mm, equipado con un perfil lateral y una rejilla de acero inoxidable clase A15, conforme a la norma UNE-EN 1433, anclada al canal y asentada sobre una base de hormigón con una solera de 100 mm de grosor y paredes de 100 mm de grosor.</code> | <code>passage: Canal de hormigón convencional con pendiente, de ancho interior 150 mm y de 200 a 250 mm de altura, sin perfil lateral, con rejilla de plástico clase B125, según norma UNE-EN 1433, fijada sin cancela al canal, colocado sobre base de asfalto con solera de 150 mm de espesor y paredes de 150 mm de espesor.</code> |
|
337 |
+
| <code>query: Forjado nervado reticular de 35+5 cm, de casetones mortero de cemento con una cuantía de 0,61/m2 de forjado, interejes 0,8 m, con una cuantía de 24 kg/m2 de armadura AP500 S de acero en barras corrugadas, armadura AP500 T en mallas electrosoldadas de 15x15 cm, 5 y 5 mm de diámetro y 0,187 1/m2 de hormigón para armar HA - 35 / F / 20 / XC1 con una cantidad de cemento de 300 kg/m3 i relación agua cemento =< 0.6 vertido con bomba</code> | <code>passage: Forjado reticulado nervado de 35+5 cm, compuesto por casetones de mortero de cemento, con una densidad de 0,61/m2, separaciones de 0,8 m, y una cantidad de 24 kg/m2 de armadura AP500 S en varillas corrugadas, además de armadura AP500 T en mallas electrosoldadas de 15x15 cm, 5 y 5 mm de diámetro, y 0,187 1/m2 de hormigón HA - 35 / F / 20 / XC1, utilizando 300 kg/m3 de cemento y una relación agua-cemento menor o igual a 0.6, aplicado mediante bomba.</code> | <code>passage: Forjado plano de 30+10 cm, de casetones de poliestireno expandido con una cuantía de 0,75/m2 de forjado, interejes 1,0 m, con una cuantía de 30 kg/m2 de armadura B500S de acero en mallas electrosoldadas de 20x20 cm, 6 y 6 mm de diámetro y 0,150 1/m2 de hormigón para armar HA - 25 / F / 30 / XC2 con una cantidad de cemento de 350 kg/m3 y relación agua cemento => 0.5 vertido manualmente.</code> |
|
338 |
+
| <code>query: Ventana de aluminio lacado blanco, colocada sobre premarco, con tres hojas correderas sobre dos raíles, para un hueco de obra aproximado de 210x150 cm, elaborada con perfiles de precio alto, clasificación mínima 3 de permeabilidad al aire según UNE-EN 12207, clasificación mínima 7A de estanqueidad al agua según UNE-EN 12208 y clasificación mínima C3 de resistencia al viento según UNE-EN 12210, sin persiana</code> | <code>passage: Ventana de PVC blanco, instalada en un premarco, con tres paneles deslizantes sobre dos rieles, diseñada para un espacio de obra de aproximadamente 210x150 cm, fabricada con perfiles de alta calidad, con una clasificación mínima de 3 en permeabilidad al aire según UNE-EN 12207, clasificación mínima 7A en estanqueidad al agua según UNE-EN 12208 y clasificación mínima C3 en resistencia al viento según UNE-EN 12210, sin sistema de persiana.</code> | <code>passage: Ventana de PVC sin lacar, instalada en un marco fijo, con dos hojas abatibles sobre un solo raíl, para un hueco de obra aproximado de 200x140 cm, elaborada con perfiles de precio bajo, clasificación mínima 1 de permeabilidad al aire según UNE-EN 12207, clasificación mínima 5A de estanqueidad al agua según UNE-EN 12208 y clasificación mínima B2 de resistencia al viento según UNE-EN 12210, con persiana incorporada.</code> |
|
339 |
+
* Loss: [<code>TripletLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#tripletloss) with these parameters:
|
340 |
+
```json
|
341 |
+
{
|
342 |
+
"distance_metric": "TripletDistanceMetric.EUCLIDEAN",
|
343 |
+
"triplet_margin": 3
|
344 |
+
}
|
345 |
+
```
|
346 |
+
|
347 |
+
### Training Hyperparameters
|
348 |
+
#### Non-Default Hyperparameters
|
349 |
+
|
350 |
+
- `eval_strategy`: steps
|
351 |
+
- `per_device_train_batch_size`: 6
|
352 |
+
- `per_device_eval_batch_size`: 6
|
353 |
+
- `learning_rate`: 2e-05
|
354 |
+
- `num_train_epochs`: 10
|
355 |
+
- `warmup_ratio`: 0.1
|
356 |
+
- `fp16`: True
|
357 |
+
- `load_best_model_at_end`: True
|
358 |
+
- `batch_sampler`: no_duplicates
|
359 |
+
|
360 |
+
#### All Hyperparameters
|
361 |
+
<details><summary>Click to expand</summary>
|
362 |
+
|
363 |
+
- `overwrite_output_dir`: False
|
364 |
+
- `do_predict`: False
|
365 |
+
- `eval_strategy`: steps
|
366 |
+
- `prediction_loss_only`: True
|
367 |
+
- `per_device_train_batch_size`: 6
|
368 |
+
- `per_device_eval_batch_size`: 6
|
369 |
+
- `per_gpu_train_batch_size`: None
|
370 |
+
- `per_gpu_eval_batch_size`: None
|
371 |
+
- `gradient_accumulation_steps`: 1
|
372 |
+
- `eval_accumulation_steps`: None
|
373 |
+
- `torch_empty_cache_steps`: None
|
374 |
+
- `learning_rate`: 2e-05
|
375 |
+
- `weight_decay`: 0.0
|
376 |
+
- `adam_beta1`: 0.9
|
377 |
+
- `adam_beta2`: 0.999
|
378 |
+
- `adam_epsilon`: 1e-08
|
379 |
+
- `max_grad_norm`: 1.0
|
380 |
+
- `num_train_epochs`: 10
|
381 |
+
- `max_steps`: -1
|
382 |
+
- `lr_scheduler_type`: linear
|
383 |
+
- `lr_scheduler_kwargs`: {}
|
384 |
+
- `warmup_ratio`: 0.1
|
385 |
+
- `warmup_steps`: 0
|
386 |
+
- `log_level`: passive
|
387 |
+
- `log_level_replica`: warning
|
388 |
+
- `log_on_each_node`: True
|
389 |
+
- `logging_nan_inf_filter`: True
|
390 |
+
- `save_safetensors`: True
|
391 |
+
- `save_on_each_node`: False
|
392 |
+
- `save_only_model`: False
|
393 |
+
- `restore_callback_states_from_checkpoint`: False
|
394 |
+
- `no_cuda`: False
|
395 |
+
- `use_cpu`: False
|
396 |
+
- `use_mps_device`: False
|
397 |
+
- `seed`: 42
|
398 |
+
- `data_seed`: None
|
399 |
+
- `jit_mode_eval`: False
|
400 |
+
- `use_ipex`: False
|
401 |
+
- `bf16`: False
|
402 |
+
- `fp16`: True
|
403 |
+
- `fp16_opt_level`: O1
|
404 |
+
- `half_precision_backend`: auto
|
405 |
+
- `bf16_full_eval`: False
|
406 |
+
- `fp16_full_eval`: False
|
407 |
+
- `tf32`: None
|
408 |
+
- `local_rank`: 0
|
409 |
+
- `ddp_backend`: None
|
410 |
+
- `tpu_num_cores`: None
|
411 |
+
- `tpu_metrics_debug`: False
|
412 |
+
- `debug`: []
|
413 |
+
- `dataloader_drop_last`: False
|
414 |
+
- `dataloader_num_workers`: 0
|
415 |
+
- `dataloader_prefetch_factor`: None
|
416 |
+
- `past_index`: -1
|
417 |
+
- `disable_tqdm`: False
|
418 |
+
- `remove_unused_columns`: True
|
419 |
+
- `label_names`: None
|
420 |
+
- `load_best_model_at_end`: True
|
421 |
+
- `ignore_data_skip`: False
|
422 |
+
- `fsdp`: []
|
423 |
+
- `fsdp_min_num_params`: 0
|
424 |
+
- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
|
425 |
+
- `fsdp_transformer_layer_cls_to_wrap`: None
|
426 |
+
- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
|
427 |
+
- `deepspeed`: None
|
428 |
+
- `label_smoothing_factor`: 0.0
|
429 |
+
- `optim`: adamw_torch
|
430 |
+
- `optim_args`: None
|
431 |
+
- `adafactor`: False
|
432 |
+
- `group_by_length`: False
|
433 |
+
- `length_column_name`: length
|
434 |
+
- `ddp_find_unused_parameters`: None
|
435 |
+
- `ddp_bucket_cap_mb`: None
|
436 |
+
- `ddp_broadcast_buffers`: False
|
437 |
+
- `dataloader_pin_memory`: True
|
438 |
+
- `dataloader_persistent_workers`: False
|
439 |
+
- `skip_memory_metrics`: True
|
440 |
+
- `use_legacy_prediction_loop`: False
|
441 |
+
- `push_to_hub`: False
|
442 |
+
- `resume_from_checkpoint`: None
|
443 |
+
- `hub_model_id`: None
|
444 |
+
- `hub_strategy`: every_save
|
445 |
+
- `hub_private_repo`: False
|
446 |
+
- `hub_always_push`: False
|
447 |
+
- `gradient_checkpointing`: False
|
448 |
+
- `gradient_checkpointing_kwargs`: None
|
449 |
+
- `include_inputs_for_metrics`: False
|
450 |
+
- `eval_do_concat_batches`: True
|
451 |
+
- `fp16_backend`: auto
|
452 |
+
- `push_to_hub_model_id`: None
|
453 |
+
- `push_to_hub_organization`: None
|
454 |
+
- `mp_parameters`:
|
455 |
+
- `auto_find_batch_size`: False
|
456 |
+
- `full_determinism`: False
|
457 |
+
- `torchdynamo`: None
|
458 |
+
- `ray_scope`: last
|
459 |
+
- `ddp_timeout`: 1800
|
460 |
+
- `torch_compile`: False
|
461 |
+
- `torch_compile_backend`: None
|
462 |
+
- `torch_compile_mode`: None
|
463 |
+
- `dispatch_batches`: None
|
464 |
+
- `split_batches`: None
|
465 |
+
- `include_tokens_per_second`: False
|
466 |
+
- `include_num_input_tokens_seen`: False
|
467 |
+
- `neftune_noise_alpha`: None
|
468 |
+
- `optim_target_modules`: None
|
469 |
+
- `batch_eval_metrics`: False
|
470 |
+
- `eval_on_start`: False
|
471 |
+
- `eval_use_gather_object`: False
|
472 |
+
- `batch_sampler`: no_duplicates
|
473 |
+
- `multi_dataset_batch_sampler`: proportional
|
474 |
+
|
475 |
+
</details>
|
476 |
+
|
477 |
+
### Training Logs
|
478 |
+
| Epoch | Step | Training Loss | Validation Loss | validation-set_max_accuracy |
|
479 |
+
|:----------:|:--------:|:-------------:|:---------------:|:---------------------------:|
|
480 |
+
| 0.2833 | 200 | 2.8113 | 2.3674 | 0.9962 |
|
481 |
+
| 0.5666 | 400 | 1.6305 | 0.7209 | 0.9887 |
|
482 |
+
| 0.8499 | 600 | 0.7763 | 0.6523 | 0.9792 |
|
483 |
+
| 1.1331 | 800 | 0.7287 | 0.5315 | 0.9849 |
|
484 |
+
| 1.4164 | 1000 | 0.5824 | 0.4461 | 0.9849 |
|
485 |
+
| 1.6997 | 1200 | 0.508 | 0.4173 | 0.9905 |
|
486 |
+
| 1.9830 | 1400 | 0.4784 | 0.3315 | 0.9905 |
|
487 |
+
| 2.2663 | 1600 | 0.2979 | 0.2590 | 0.9868 |
|
488 |
+
| 2.5496 | 1800 | 0.2218 | 0.2567 | 0.9868 |
|
489 |
+
| 2.8329 | 2000 | 0.2886 | 0.1700 | 0.9887 |
|
490 |
+
| 3.1161 | 2200 | 0.2331 | 0.1453 | 0.9887 |
|
491 |
+
| 3.3994 | 2400 | 0.1352 | 0.1226 | 0.9962 |
|
492 |
+
| 3.6827 | 2600 | 0.16 | 0.1649 | 0.9887 |
|
493 |
+
| 3.9660 | 2800 | 0.1549 | 0.1291 | 0.9962 |
|
494 |
+
| 4.2493 | 3000 | 0.088 | 0.1059 | 0.9962 |
|
495 |
+
| 4.5326 | 3200 | 0.0908 | 0.0973 | 0.9962 |
|
496 |
+
| 4.8159 | 3400 | 0.0784 | 0.0907 | 0.9962 |
|
497 |
+
| 5.0992 | 3600 | 0.0858 | 0.1177 | 0.9962 |
|
498 |
+
| 5.3824 | 3800 | 0.0559 | 0.0898 | 0.9962 |
|
499 |
+
| 5.6657 | 4000 | 0.0558 | 0.0715 | 0.9962 |
|
500 |
+
| 5.9490 | 4200 | 0.038 | 0.0621 | 0.9905 |
|
501 |
+
| 6.2323 | 4400 | 0.0322 | 0.0639 | 0.9981 |
|
502 |
+
| 6.5156 | 4600 | 0.0189 | 0.0804 | 0.9943 |
|
503 |
+
| 6.7989 | 4800 | 0.0322 | 0.0572 | 0.9887 |
|
504 |
+
| 7.0822 | 5000 | 0.0234 | 0.0468 | 0.9962 |
|
505 |
+
| **7.3654** | **5200** | **0.0109** | **0.0393** | **0.9962** |
|
506 |
+
| 7.6487 | 5400 | 0.0089 | 0.0423 | 0.9962 |
|
507 |
+
| 7.9320 | 5600 | 0.0109 | 0.0452 | 0.9962 |
|
508 |
+
| 8.2153 | 5800 | 0.0142 | 0.0453 | 0.9962 |
|
509 |
+
| 8.4986 | 6000 | 0.0087 | 0.0482 | 0.9943 |
|
510 |
+
| 8.7819 | 6200 | 0.0016 | 0.0482 | 0.9943 |
|
511 |
+
| 9.0652 | 6400 | 0.0022 | 0.0442 | 0.9943 |
|
512 |
+
| 9.3484 | 6600 | 0.0067 | 0.0449 | 0.9924 |
|
513 |
+
| 9.6317 | 6800 | 0.0008 | 0.0448 | 0.9943 |
|
514 |
+
| 9.9150 | 7000 | 0.0025 | 0.0455 | 0.9962 |
|
515 |
+
| 10.0 | 7060 | - | - | 0.9962 |
|
516 |
+
|
517 |
+
* The bold row denotes the saved checkpoint.
|
518 |
+
|
519 |
+
### Framework Versions
|
520 |
+
- Python: 3.10.12
|
521 |
+
- Sentence Transformers: 3.2.0
|
522 |
+
- Transformers: 4.44.2
|
523 |
+
- PyTorch: 2.4.1+cu121
|
524 |
+
- Accelerate: 0.34.2
|
525 |
+
- Datasets: 3.0.1
|
526 |
+
- Tokenizers: 0.19.1
|
527 |
+
|
528 |
+
## Citation
|
529 |
+
|
530 |
+
### BibTeX
|
531 |
+
|
532 |
+
#### Sentence Transformers
|
533 |
+
```bibtex
|
534 |
+
@inproceedings{reimers-2019-sentence-bert,
|
535 |
+
title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
|
536 |
+
author = "Reimers, Nils and Gurevych, Iryna",
|
537 |
+
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
|
538 |
+
month = "11",
|
539 |
+
year = "2019",
|
540 |
+
publisher = "Association for Computational Linguistics",
|
541 |
+
url = "https://arxiv.org/abs/1908.10084",
|
542 |
+
}
|
543 |
+
```
|
544 |
+
|
545 |
+
#### TripletLoss
|
546 |
+
```bibtex
|
547 |
+
@misc{hermans2017defense,
|
548 |
+
title={In Defense of the Triplet Loss for Person Re-Identification},
|
549 |
+
author={Alexander Hermans and Lucas Beyer and Bastian Leibe},
|
550 |
+
year={2017},
|
551 |
+
eprint={1703.07737},
|
552 |
+
archivePrefix={arXiv},
|
553 |
+
primaryClass={cs.CV}
|
554 |
+
}
|
555 |
+
```
|
556 |
+
|
557 |
+
<!--
|
558 |
+
## Glossary
|
559 |
+
|
560 |
+
*Clearly define terms in order to be accessible across audiences.*
|
561 |
+
-->
|
562 |
+
|
563 |
+
<!--
|
564 |
+
## Model Card Authors
|
565 |
+
|
566 |
+
*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
|
567 |
+
-->
|
568 |
+
|
569 |
+
<!--
|
570 |
+
## Model Card Contact
|
571 |
+
|
572 |
+
*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
|
573 |
+
-->
|
config.json
ADDED
@@ -0,0 +1,28 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
+
{
|
2 |
+
"_name_or_path": "intfloat/multilingual-e5-large",
|
3 |
+
"architectures": [
|
4 |
+
"XLMRobertaModel"
|
5 |
+
],
|
6 |
+
"attention_probs_dropout_prob": 0.1,
|
7 |
+
"bos_token_id": 0,
|
8 |
+
"classifier_dropout": null,
|
9 |
+
"eos_token_id": 2,
|
10 |
+
"hidden_act": "gelu",
|
11 |
+
"hidden_dropout_prob": 0.1,
|
12 |
+
"hidden_size": 1024,
|
13 |
+
"initializer_range": 0.02,
|
14 |
+
"intermediate_size": 4096,
|
15 |
+
"layer_norm_eps": 1e-05,
|
16 |
+
"max_position_embeddings": 514,
|
17 |
+
"model_type": "xlm-roberta",
|
18 |
+
"num_attention_heads": 16,
|
19 |
+
"num_hidden_layers": 24,
|
20 |
+
"output_past": true,
|
21 |
+
"pad_token_id": 1,
|
22 |
+
"position_embedding_type": "absolute",
|
23 |
+
"torch_dtype": "float32",
|
24 |
+
"transformers_version": "4.44.2",
|
25 |
+
"type_vocab_size": 1,
|
26 |
+
"use_cache": true,
|
27 |
+
"vocab_size": 250002
|
28 |
+
}
|
config_sentence_transformers.json
ADDED
@@ -0,0 +1,10 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
+
{
|
2 |
+
"__version__": {
|
3 |
+
"sentence_transformers": "3.2.0",
|
4 |
+
"transformers": "4.44.2",
|
5 |
+
"pytorch": "2.4.1+cu121"
|
6 |
+
},
|
7 |
+
"prompts": {},
|
8 |
+
"default_prompt_name": null,
|
9 |
+
"similarity_fn_name": null
|
10 |
+
}
|
model.safetensors
ADDED
@@ -0,0 +1,3 @@
|
|
|
|
|
|
|
|
|
1 |
+
version https://git-lfs.github.com/spec/v1
|
2 |
+
oid sha256:6632516d91fb69a96f48e73a08c5674c59ac1c468456e8e90fa12cecd9531e50
|
3 |
+
size 2239607176
|
modules.json
ADDED
@@ -0,0 +1,26 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
+
[
|
2 |
+
{
|
3 |
+
"idx": 0,
|
4 |
+
"name": "0",
|
5 |
+
"path": "",
|
6 |
+
"type": "sentence_transformers.models.Transformer"
|
7 |
+
},
|
8 |
+
{
|
9 |
+
"idx": 1,
|
10 |
+
"name": "1",
|
11 |
+
"path": "1_Pooling",
|
12 |
+
"type": "sentence_transformers.models.Pooling"
|
13 |
+
},
|
14 |
+
{
|
15 |
+
"idx": 2,
|
16 |
+
"name": "2",
|
17 |
+
"path": "2_Normalize",
|
18 |
+
"type": "sentence_transformers.models.Normalize"
|
19 |
+
},
|
20 |
+
{
|
21 |
+
"idx": 3,
|
22 |
+
"name": "linear_adapter",
|
23 |
+
"path": "3_MyLinearAdapter",
|
24 |
+
"type": "__main__.MyLinearAdapter"
|
25 |
+
}
|
26 |
+
]
|
sentence_bert_config.json
ADDED
@@ -0,0 +1,4 @@
|
|
|
|
|
|
|
|
|
|
|
1 |
+
{
|
2 |
+
"max_seq_length": 512,
|
3 |
+
"do_lower_case": false
|
4 |
+
}
|
sentencepiece.bpe.model
ADDED
@@ -0,0 +1,3 @@
|
|
|
|
|
|
|
|
|
1 |
+
version https://git-lfs.github.com/spec/v1
|
2 |
+
oid sha256:cfc8146abe2a0488e9e2a0c56de7952f7c11ab059eca145a0a727afce0db2865
|
3 |
+
size 5069051
|
special_tokens_map.json
ADDED
@@ -0,0 +1,51 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
+
{
|
2 |
+
"bos_token": {
|
3 |
+
"content": "<s>",
|
4 |
+
"lstrip": false,
|
5 |
+
"normalized": false,
|
6 |
+
"rstrip": false,
|
7 |
+
"single_word": false
|
8 |
+
},
|
9 |
+
"cls_token": {
|
10 |
+
"content": "<s>",
|
11 |
+
"lstrip": false,
|
12 |
+
"normalized": false,
|
13 |
+
"rstrip": false,
|
14 |
+
"single_word": false
|
15 |
+
},
|
16 |
+
"eos_token": {
|
17 |
+
"content": "</s>",
|
18 |
+
"lstrip": false,
|
19 |
+
"normalized": false,
|
20 |
+
"rstrip": false,
|
21 |
+
"single_word": false
|
22 |
+
},
|
23 |
+
"mask_token": {
|
24 |
+
"content": "<mask>",
|
25 |
+
"lstrip": true,
|
26 |
+
"normalized": false,
|
27 |
+
"rstrip": false,
|
28 |
+
"single_word": false
|
29 |
+
},
|
30 |
+
"pad_token": {
|
31 |
+
"content": "<pad>",
|
32 |
+
"lstrip": false,
|
33 |
+
"normalized": false,
|
34 |
+
"rstrip": false,
|
35 |
+
"single_word": false
|
36 |
+
},
|
37 |
+
"sep_token": {
|
38 |
+
"content": "</s>",
|
39 |
+
"lstrip": false,
|
40 |
+
"normalized": false,
|
41 |
+
"rstrip": false,
|
42 |
+
"single_word": false
|
43 |
+
},
|
44 |
+
"unk_token": {
|
45 |
+
"content": "<unk>",
|
46 |
+
"lstrip": false,
|
47 |
+
"normalized": false,
|
48 |
+
"rstrip": false,
|
49 |
+
"single_word": false
|
50 |
+
}
|
51 |
+
}
|
tokenizer.json
ADDED
@@ -0,0 +1,3 @@
|
|
|
|
|
|
|
|
|
1 |
+
version https://git-lfs.github.com/spec/v1
|
2 |
+
oid sha256:883b037111086fd4dfebbbc9b7cee11e1517b5e0c0514879478661440f137085
|
3 |
+
size 17082987
|
tokenizer_config.json
ADDED
@@ -0,0 +1,54 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
+
{
|
2 |
+
"added_tokens_decoder": {
|
3 |
+
"0": {
|
4 |
+
"content": "<s>",
|
5 |
+
"lstrip": false,
|
6 |
+
"normalized": false,
|
7 |
+
"rstrip": false,
|
8 |
+
"single_word": false,
|
9 |
+
"special": true
|
10 |
+
},
|
11 |
+
"1": {
|
12 |
+
"content": "<pad>",
|
13 |
+
"lstrip": false,
|
14 |
+
"normalized": false,
|
15 |
+
"rstrip": false,
|
16 |
+
"single_word": false,
|
17 |
+
"special": true
|
18 |
+
},
|
19 |
+
"2": {
|
20 |
+
"content": "</s>",
|
21 |
+
"lstrip": false,
|
22 |
+
"normalized": false,
|
23 |
+
"rstrip": false,
|
24 |
+
"single_word": false,
|
25 |
+
"special": true
|
26 |
+
},
|
27 |
+
"3": {
|
28 |
+
"content": "<unk>",
|
29 |
+
"lstrip": false,
|
30 |
+
"normalized": false,
|
31 |
+
"rstrip": false,
|
32 |
+
"single_word": false,
|
33 |
+
"special": true
|
34 |
+
},
|
35 |
+
"250001": {
|
36 |
+
"content": "<mask>",
|
37 |
+
"lstrip": true,
|
38 |
+
"normalized": false,
|
39 |
+
"rstrip": false,
|
40 |
+
"single_word": false,
|
41 |
+
"special": true
|
42 |
+
}
|
43 |
+
},
|
44 |
+
"bos_token": "<s>",
|
45 |
+
"clean_up_tokenization_spaces": true,
|
46 |
+
"cls_token": "<s>",
|
47 |
+
"eos_token": "</s>",
|
48 |
+
"mask_token": "<mask>",
|
49 |
+
"model_max_length": 512,
|
50 |
+
"pad_token": "<pad>",
|
51 |
+
"sep_token": "</s>",
|
52 |
+
"tokenizer_class": "XLMRobertaTokenizer",
|
53 |
+
"unk_token": "<unk>"
|
54 |
+
}
|