from operator import itemgetter import re from bs4 import BeautifulSoup from termcolor import colored def get_pdf_blocks(pdf_doc): all_blocks = [] for page_num, page in enumerate(pdf_doc): page_blocks = page.get_text("blocks") page_blocks = [(round(el[0]), round(el[1]), round(el[2]), round(el[3]), el[4].strip()) for el in page_blocks if el[-1] == 0] page_blocks.sort(key=itemgetter(1, 0)) all_blocks += page_blocks all_blocks = [el[-1] for el in all_blocks] all_blocks = [ string.replace(u'\xa0', u' ') for string in all_blocks ] all_blocks = [ re.sub("\s+", " ", block) for block in all_blocks ] return all_blocks def get_doc_blocks(doc): paragraphs = [] for doc_para in doc.paragraphs: if doc_para.text: paragraphs.append(doc_para.text) else: soup = BeautifulSoup(doc_para._p.xml) paragraphs += [ j.strip() for j in soup.find_all("w:p")[0].text.strip().split("\n\n") if j.strip() ] paragraphs = [ string.replace(u'\xa0', u' ') for string in paragraphs ] paragraphs = [ re.sub("\s+", " ", block) for block in paragraphs ] return paragraphs pdf_oik_regex = [ "\d+(?:\.\d{2})?%", "\d+(?:\.\d{2})? Российский рубль", "((?:не требуется)|(?:не установлены))", ] def parse_pdf_oik(all_blocks, debug_print=False): oik_pdf = None check_if_3_30_present, check_if_24_22_present = False, False for i, block in enumerate(all_blocks): if "ч. 3 ст. 30" in block: check_if_3_30_present = True if "ч. 24 ст. 22" in block: check_if_24_22_present = True for string in [ 'Размер обеспечения исполнения контракта', 'Обеспечение исполнения контракта не требуется', "Обеспечение исполнения контракта", 'Размер обеспечения исполнения', 'Размер обеспечения', ]: if ( not oik_pdf and re.sub("\s", '', string.lower()) in re.sub("\s", '', block.lower()) and not re.sub("\s", '', "Размер обеспечения заявки") in re.sub("\s", '', block) and not "гарантийных" in block ): if debug_print: print("CAND_STRING", block) # print(string) for possible_value in pdf_oik_regex: if oik_pdf := re.findall(possible_value, block): if debug_print: print("BLOCK_FOUND", block) break elif oik_pdf := re.findall(possible_value, all_blocks[i + 1]): if debug_print: print("BLOCK_FOUND", block) break elif oik_pdf := re.findall(possible_value, all_blocks[i + 2]): if debug_print: print("BLOCK_FOUND", block) break return oik_pdf, check_if_3_30_present, check_if_24_22_present oik_docx_regex = [ "(?:\d+(?:\.\d*)?|\.\d+) ?(?:процент|%)", "(?:\d+(?:\,\d*)?|\,\d+) ?(?:процент|%)", "\d{1,3} процент", "не установлен(?:ы|о)", "не устанавливается", "\d{1,3} ?%", "\d{1,3} ?\(десять\) ?процент", "\d{1,3} ?\(пять\) ?процент", "\d{1,3} ?\(тридцать\) ?процент" ] ot_max_znacenia_tseni_kontracta_str = "Максимальное значение цены Контракта составляет ________________, ________________ (далее – Цена Контракта)." def parse_doc_oik(paragraphs): oik_docx = None ot_tseni_kontracta = False ot_nachalnoi_tseni_kontracta = False ot_max_znacenia_tseni_kontracta = False for i, docpara in enumerate(paragraphs): if ot_max_znacenia_tseni_kontracta_str in docpara: ot_max_znacenia_tseni_kontracta = True if any([ string in docpara.lower() for string in [ "обеспечение исполнения контракта устанавливается в размере", "обеспечение исполнения контракта в размере", "обеспечение исполнения настоящего контракта установлено в размере", "обеспечение исполнения договора устанавливается в размере", "обеспечение исполнения обязательств по настоящему контракту", "обеспечение исполнения обязательств по контракту устанавливается в размере" ] ]): for val in oik_docx_regex: if oik_docx := re.findall(val, docpara): print("НЕТИПОВОЙ") print(docpara.lower()) if any([ "начальной цены контракта" in docpara.lower(), "начальной (максимальной) цены контракта" in docpara.lower(), "максимального значения цены контракта" in docpara.lower(), "от начальной (макcимальной) цены контракта" in docpara.lower(), "начальной" in docpara.lower(), "от максимального значения цены контракта" in docpara.lower() ]): ot_nachalnoi_tseni_kontracta = True elif any([ "цены контракта" in docpara.lower(), "цены договора" in docpara.lower() ]): ot_tseni_kontracta = True break break elif "Обеспечение исполнения Контракта" == docpara: print(f"{paragraphs[i+1].lower() = }") for val in oik_docx_regex: if oik_docx := re.findall(val, paragraphs[i + 1]): if any([ string in paragraphs[i + 1].lower() for string in [ "начальной цены контракта", "начальной (максимальной) цены контракта", "максимального значения цены контракта" "начальной", "от начальной (макcимальной) цены контракта", "от максимального значения цены контракта" ] ]): ot_nachalnoi_tseni_kontracta = True elif "цены контракта" in paragraphs[i + 1].lower() or \ "цены договора" in paragraphs[i + 1].lower(): ot_tseni_kontracta = True break break return ( oik_docx, ot_tseni_kontracta, ot_nachalnoi_tseni_kontracta, ot_max_znacenia_tseni_kontracta ) fits = [ "\d{2} дней", "\d{2} \(пятнадцати\) дней" ] variants = [ "возвращаются поставщику при условии надлежащего выполнения поставщиком своих обязательств по контракту в течение", "возвращаются исполнителю при условии надлежащего выполнения исполнителем своих обязательств по контракту в течение", "возвращаются подрядчику при условии надлежащего выполнения подрядчиком своих обязательств по контракту в течение", "возвращаются поставщику в течение", "в случае оказания услуги субъектом малого предпринимательства -", "возврат обеспечения осуществляется заказчиком после подписания заключительного универсального передаточного документа в течение", "возвращаются поставщику при условии надлежащего выполнения поставщиком своих обязательств по договору по заявлению поставщика в течение", "возвращаются лицензиару в течение", "возврат обеспечения осуществляется заказчиком в течение", "возвращаются исполнителю в срок", "возвращаются исполнителю в течение" ] def parse_doc_days(paragraphs): days_docx = None for i, docpara in enumerate(paragraphs): if any([ variant in docpara.lower() for variant in variants ]): for val in fits: if days_docx := re.findall(val, docpara): break pass if days_docx: # print("days_docx", days_docx) days_docx = days_docx[0] for possible_repl in [" (пятнадцати) дней", "дней"]: days_docx = days_docx.replace(possible_repl, "").strip() days_docx = int(days_docx) # print("corrected days_docx", days_docx) return days_docx price_rub_regex = [ "\d+(?:\.\d{2})? руб.", "\d+(?:\.\d{2})? рублей", "\d+(?:\,\d{2})? рублей", "\d+(?:\,\d{2})? руб", "\d+(?:\.\d{2})? Российский рубль", "((?:\d{1,3})(?:(?:\s\d{1,3})+)),(\d\d)", "((?:\d{1,3})(?:(?:.\d{1,3})+))\.(\d\d)" ] def check_percent_before_price(paragraphs): for i, docpara in enumerate(paragraphs): if any([ re.sub("\s", '', string) in re.sub("\s", '', docpara.lower()) for string in [ 'от цены контракта', 'от начальной (максимальной) цены контракта' ] ]): for rub_re in price_rub_regex: if re.findall(rub_re, docpara): if temp := re.search(rub_re, docpara): if docpara.find("%") != -1 and docpara.find("%") < temp.span()[0]: print(colored("Ошибка, указана цена после %!!!", 'red')) print(f"\t{docpara = }") print("-"*50) return True return False rub_regex = [ "\d+(?:\.\d{2})? руб.", "\d+(?:\.\d{2})? рублей", "\d+(?:\,\d{2})? рублей", "\d+(?:\,\d{2})? руб", "\d+(?:\.\d{2})? Российский рубль" ] def get_mck(all_blocks,debug_print=False): MCK = [] for i, block in enumerate(all_blocks): if re.sub("\s", '', 'Начальная (максимальная) цена контракта') \ in re.sub("\s", '', block): if debug_print: print("MCK_TEXT", all_blocks[i+1]) print("MCK_TEXT", block) print("-"*70) for rub_re in rub_regex: MCK += re.findall(rub_re, all_blocks[i+1]) MCK += re.findall(rub_re, block) elif re.sub("\s", '', 'Максимальное значение цены контракта') \ in re.sub("\s", '', block): for rub_re in rub_regex: if debug_print: print("MCK_TEXT", all_blocks[i+1]) print("MCK_TEXT", block) print("-"*70) MCK += re.findall(rub_re, all_blocks[i+1]) MCK += re.findall(rub_re, block) return [ float(re.sub("[а-яА-Я]", '', el).replace(",", ".").strip()) for el in MCK ]