Model/MultimodelNER/Ner_processing.py

def format_predictions(words, predictions):
    '''
    Chuyển đổi danh sách từ và dự đoán sang định dạng (word, label)
    '''
    formatted = []
    for word, label in zip(words, predictions):
        formatted.append((word, label))
    return formatted

def process_predictions(predictions):
    '''
    Tách các từ có dấu gạch dưới thành các từ riêng biệt với cùng nhãn
    '''
    formatted = []
    for word, label in predictions:
        if '_' in word:
            formatted.append((word.replace('_', ' '), label))
        else:
            formatted.append((word, label))
    return formatted


def combine_entities(predictions):
    combined = []
    temp_entity = []
    temp_label = None

    for word, label in predictions:
        if label.startswith('B-'):
            if temp_entity:
                combined.append((' '.join(temp_entity), temp_label))
                temp_entity = []
            temp_entity.append(word)
            temp_label = label
        elif label.startswith('I-') and temp_label and label[2:] == temp_label[2:]:
            temp_entity.append(word)
        else:
            if temp_entity:
                combined.append((' '.join(temp_entity), temp_label))
                temp_entity = []
                temp_label = None
            combined.append((word, label))

    if temp_entity:
        combined.append((' '.join(temp_entity), temp_label))

    return combined




def remove_B_prefix(entities):
    modified_entities = []
    for word, label in entities:
        if label.startswith('B-'):
            label = label[2:]  # Loại bỏ phần 'B-' khỏi nhãn
        modified_entities.append((word, label))
    return modified_entities


def combine_i_tags(tokens_labels):
    combined = []
    current_combination = []
    current_label = None

    for token, label in tokens_labels:
        if label.startswith('I-'):
            label = label[2:]  # Remove the 'I-' prefix
            if current_label is None:
                current_label = label
                current_combination.append(token)
            elif current_label == label:
                current_combination.append(token)
            else:
                combined.append((' '.join(current_combination), current_label))
                current_combination = [token]
                current_label = label
        else:
            if current_combination:
                combined.append((' '.join(current_combination), current_label))
                current_combination = []
                current_label = None
            combined.append((token, label))

    if current_combination:
        combined.append((' '.join(current_combination), current_label))

    return combined

# tokens_labels = [('Dân', 'O'), ('trí', 'O'), ('Chức', 'O'), ('vô', 'O'), ('địch', 'O'), ('Euro 2008', 'EVENT-SPORT'), ('đầy', 'O'), ('thuyết', 'O'), ('phục', 'O'), ('của', 'O'), ('Tây Ban Nha', 'LOCATION'), ('trên', 'O'), ('đất', 'O'), ('Áo', 'LOCATION'), ('và', 'O'), ('Thụy Sĩ', 'PERSON'), ('đã', 'O'), ('mở', 'O'), ('ra', 'O'), ('kỷ', 'O'), ('nguyên', 'O'), ('vinh', 'O'), ('quanh', 'O'), ('của', 'O'), ('La', 'ORGANIZATION'), ('Furia', 'I-ORGANIZATION-SPORTS'), ('Roja', 'I-ORGANIZATION-SPORTS'), (',', 'O'), ('với', 'O'), ('lối', 'O'), ('chơi', 'O'), ('tiqui', 'O'), ('taka', 'O'), ('đầy', 'O'), ('biến', 'O'), ('ảo', 'O'), ('.', 'O'), ('Trong', 'O'), ('quá', 'O'), ('khứ', 'O'), (',', 'O'), ('Tây Ban Nha', 'LOCATION'), ('nổi', 'O'), ('tiếng', 'O'), ('với', 'O'), ('biệt', 'O'), ('danh', 'O'), ('Vua', 'O'), ('vòng', 'O'), ('loại', 'O'), ('.', 'O'), ('Họ', 'O'), ('thường', 'O'), ('thi', 'O'), ('đấu', 'O'), ('rất', 'O'), ('tốt', 'O'), ('ở', 'O'), ('vòng', 'O'), ('loại', 'O'), ('nhưng', 'O'), ('lại', 'O'), ('chưa', 'O'), ('bao', 'O'), ('giờ', 'O'), ('chứng', 'O'), ('minh', 'O'), ('được', 'O'), ('sức', 'O'), ('mạnh', 'O'), ('ở', 'O'), ('vòng', 'O'), ('chung', 'O'), ('kết', 'O'), ('giải', 'O'), ('đấu', 'O'), ('lớn', 'O'), ('.', 'O'), ('Lần', 'O'), ('duy', 'O'), ('nhất', 'O'), ('họ', 'O'), ('lên', 'O'), ('ngôi', 'O'), ('là', 'O'), ('ở', 'O'), ('kỳ', 'O'), ('Euro', 'EVENT-SPORT'), ('1964', 'O'), ('.', 'O')]

# combined_tokens_labels = combine_i_tags(tokens_labels)
# print(combined_tokens_labels)