qeterme commited on
Commit
167b14f
1 Parent(s): aa96962

feat: Added entities to anonymizer

Browse files

Added credit card and iban recognizers

Files changed (1) hide show
  1. examples/anon.py +5 -3
examples/anon.py CHANGED
@@ -36,6 +36,8 @@ def process(text: str, fake_data: bool, entities: List) -> Tuple[str, List]:
36
  "IP_ADDRESS": OperatorConfig("custom", {"lambda": lambda x: fake.ipv4()}),
37
  "URL": OperatorConfig("custom", {"lambda": lambda x: fake.url()}),
38
  "DATE_TIME": OperatorConfig("custom", {"lambda": lambda x: fake.date()}),
 
 
39
  }
40
 
41
  anonymizer = AnonymizerEngine()
@@ -49,8 +51,8 @@ EXAMPLES = [
49
  ["Vespucci 1450-es években született Firenzében, és 1497 és 1504 között legalább két felfedező úton vett részt – az egyiket spanyol, a másikat portugál támogatással.", False, ["PERSON", "LOCATION"]],
50
  ["Elon Musk 1971-ben született a Dél-afrikai Köztársaságban, anyja Maye Musk (született: Haldeman) modell, apja Errol Musk mérnök, pilóta.", True, [
51
  "PERSON", "LOCATION"]],
52
- ["Vespucci 1450-es években született Firenzében, és 1497 és 1504 között legalább két felfedező úton vett részt. Bárorító leveleket a vespucci@deojeda.es email-címre várt, mellette működött egy hangrögzítője is a +3903827802737 telefonszámon. Adományokat a bitcoin tárcájába fogadott: 1Fsb3io3hj1jKaRCTRQ89Du88Dp7NxgEcU. Utazási blogja a https://firenze.it/vespucci címen volt elérhető. Legutóbb 1503-03-15-én publikált, ezt a 192.168.0.1 ip-címről tette meg.", True,
53
- ["PERSON", "LOCATION", "EMAIL_ADDRESS", "PHONE_NUMBER", "CRYPTO", "IP_ADDRESS", "URL", "DATE_TIME"]],
54
  ]
55
 
56
  demo = gr.Interface(
@@ -58,7 +60,7 @@ demo = gr.Interface(
58
  inputs=[gr.Textbox(value=EXAMPLES[0][0], lines=10, label="Input text", show_label=True),
59
  gr.Checkbox(value=EXAMPLES[0][1],
60
  label="Apply de-identification", show_label=True),
61
- gr.CheckboxGroup(['PERSON', 'DATE_TIME', 'IP_ADDRESS', 'LOCATION', 'URL', 'EMAIL_ADDRESS', 'CRYPTO', 'PHONE_NUMBER'], label="Entities", show_label=True, value=EXAMPLES[0][2])],
62
  outputs=[gr.Textbox(label="Anonymized text", show_label=True),
63
  gr.Textbox(label="Tags", show_label=True)],
64
  examples=EXAMPLES,
 
36
  "IP_ADDRESS": OperatorConfig("custom", {"lambda": lambda x: fake.ipv4()}),
37
  "URL": OperatorConfig("custom", {"lambda": lambda x: fake.url()}),
38
  "DATE_TIME": OperatorConfig("custom", {"lambda": lambda x: fake.date()}),
39
+ "CREDIT_CARD": OperatorConfig("custom", {"lambda": lambda x: fake.credit_card_number()}),
40
+ "IBAN_CODE": OperatorConfig("custom", {"lambda": lambda x: fake.iban()}),
41
  }
42
 
43
  anonymizer = AnonymizerEngine()
 
51
  ["Vespucci 1450-es években született Firenzében, és 1497 és 1504 között legalább két felfedező úton vett részt – az egyiket spanyol, a másikat portugál támogatással.", False, ["PERSON", "LOCATION"]],
52
  ["Elon Musk 1971-ben született a Dél-afrikai Köztársaságban, anyja Maye Musk (született: Haldeman) modell, apja Errol Musk mérnök, pilóta.", True, [
53
  "PERSON", "LOCATION"]],
54
+ ["Vespucci 1450-es években született Firenzében, és 1497 és 1504 között legalább két felfedező úton vett részt. Bárorító leveleket a vespucci@deojeda.es email-címre várt, mellette működött egy hangrögzítője is a +3903827802737 telefonszámon. Adományokat a bitcoin tárcájába (1Fsb3io3hj1jKaRCTRQ89Du88Dp7NxgEcU), bankkártyájára (5200 8282 8282 8210) és IBAN számlaszámára (ES8201289482186115378819) fogadott. Utazási blogja a https://firenze.it/vespucci címen volt elérhető. Legutóbb 1503-03-15-én publikált, ezt a 192.168.0.1 ip-címről tette meg.", True,
55
+ ["PERSON", "LOCATION", "EMAIL_ADDRESS", "PHONE_NUMBER", "CRYPTO", "IP_ADDRESS", "URL", "DATE_TIME", "CREDIT_CARD", "IBAN_CODE"]],
56
  ]
57
 
58
  demo = gr.Interface(
 
60
  inputs=[gr.Textbox(value=EXAMPLES[0][0], lines=10, label="Input text", show_label=True),
61
  gr.Checkbox(value=EXAMPLES[0][1],
62
  label="Apply de-identification", show_label=True),
63
+ gr.CheckboxGroup(['PERSON', 'LOCATION', 'DATE_TIME', 'IP_ADDRESS', 'URL', 'EMAIL_ADDRESS', 'PHONE_NUMBER', 'CREDIT_CARD', 'IBAN_CODE', 'CRYPTO'], label="Entities", show_label=True, value=EXAMPLES[0][2])],
64
  outputs=[gr.Textbox(label="Anonymized text", show_label=True),
65
  gr.Textbox(label="Tags", show_label=True)],
66
  examples=EXAMPLES,