add

.gitattributes

@@ -32,3 +32,4 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
 *.zip filter=lfs diff=lfs merge=lfs -text
 *.zst filter=lfs diff=lfs merge=lfs -text
 *tfevents* filter=lfs diff=lfs merge=lfs -text
+*.psd filter=lfs diff=lfs merge=lfs -text

.idea/.gitignore

@@ -0,0 +1,8 @@
+# Default ignored files
+/shelf/
+/workspace.xml
+# Datasource local storage ignored files
+/dataSources/
+/dataSources.local.xml
+# Editor-based HTTP Client requests
+/httpRequests/

.idea/EmotionApp.iml

@@ -0,0 +1,8 @@
+<?xml version="1.0" encoding="UTF-8"?>
+<module type="PYTHON_MODULE" version="4">
+  <component name="NewModuleRootManager">
+    <content url="file://$MODULE_DIR$" />
+    <orderEntry type="inheritedJdk" />
+    <orderEntry type="sourceFolder" forTests="false" />
+  </component>
+</module>

.idea/inspectionProfiles/Project_Default.xml

@@ -0,0 +1,58 @@
+<component name="InspectionProjectProfileManager">
+  <profile version="1.0">
+    <option name="myName" value="Project Default" />
+    <inspection_tool class="DuplicatedCode" enabled="true" level="WEAK WARNING" enabled_by_default="true">
+      <Languages>
+        <language minSize="773" name="Python" />
+      </Languages>
+    </inspection_tool>
+    <inspection_tool class="HtmlUnknownTag" enabled="true" level="WARNING" enabled_by_default="true">
+      <option name="myValues">
+        <value>
+          <list size="8">
+            <item index="0" class="java.lang.String" itemvalue="nobr" />
+            <item index="1" class="java.lang.String" itemvalue="noembed" />
+            <item index="2" class="java.lang.String" itemvalue="comment" />
+            <item index="3" class="java.lang.String" itemvalue="noscript" />
+            <item index="4" class="java.lang.String" itemvalue="embed" />
+            <item index="5" class="java.lang.String" itemvalue="script" />
+            <item index="6" class="java.lang.String" itemvalue="div" />
+            <item index="7" class="java.lang.String" itemvalue="button" />
+          </list>
+        </value>
+      </option>
+      <option name="myCustomValuesEnabled" value="true" />
+    </inspection_tool>
+    <inspection_tool class="PyPackageRequirementsInspection" enabled="true" level="WARNING" enabled_by_default="true">
+      <option name="ignoredPackages">
+        <value>
+          <list size="8">
+            <item index="0" class="java.lang.String" itemvalue="scipy" />
+            <item index="1" class="java.lang.String" itemvalue="matplotlib" />
+            <item index="2" class="java.lang.String" itemvalue="pyTelegramBotAPI" />
+            <item index="3" class="java.lang.String" itemvalue="scikit_learn" />
+            <item index="4" class="java.lang.String" itemvalue="imutils" />
+            <item index="5" class="java.lang.String" itemvalue="skimage" />
+            <item index="6" class="java.lang.String" itemvalue="Pillow" />
+            <item index="7" class="java.lang.String" itemvalue="numpy" />
+          </list>
+        </value>
+      </option>
+    </inspection_tool>
+    <inspection_tool class="PyPep8NamingInspection" enabled="true" level="WEAK WARNING" enabled_by_default="true">
+      <option name="ignoredErrors">
+        <list>
+          <option value="N803" />
+        </list>
+      </option>
+    </inspection_tool>
+    <inspection_tool class="PyUnresolvedReferencesInspection" enabled="true" level="WARNING" enabled_by_default="true">
+      <option name="ignoredIdentifiers">
+        <list>
+          <option value="tuple.append" />
+          <option value="for_table.*" />
+        </list>
+      </option>
+    </inspection_tool>
+  </profile>
+</component>

.idea/inspectionProfiles/profiles_settings.xml

@@ -0,0 +1,6 @@
+<component name="InspectionProjectProfileManager">
+  <settings>
+    <option name="USE_PROJECT_PROFILE" value="false" />
+    <version value="1.0" />
+  </settings>
+</component>

.idea/misc.xml

@@ -0,0 +1,4 @@
+<?xml version="1.0" encoding="UTF-8"?>
+<project version="4">
+  <component name="ProjectRootManager" version="2" project-jdk-name="Python 3.9" project-jdk-type="Python SDK" />
+</project>

.idea/modules.xml

@@ -0,0 +1,8 @@
+<?xml version="1.0" encoding="UTF-8"?>
+<project version="4">
+  <component name="ProjectModuleManager">
+    <modules>
+      <module fileurl="file://$PROJECT_DIR$/.idea/EmotionApp.iml" filepath="$PROJECT_DIR$/.idea/EmotionApp.iml" />
+    </modules>
+  </component>
+</project>

.idea/vcs.xml

@@ -0,0 +1,6 @@
+<?xml version="1.0" encoding="UTF-8"?>
+<project version="4">
+  <component name="VcsDirectoryMappings">
+    <mapping directory="$PROJECT_DIR$" vcs="Git" />
+  </component>
+</project>

app.py

@@ -0,0 +1,94 @@
+import streamlit as st
+import io
+from PIL import Image
+import numpy as np
+import cv2
+from model import Generator
+from torchvision import transforms
+import torch
+
+st.set_page_config(
+    page_title="Emotion App!",
+    page_icon="😎",
+    layout="wide"
+)
+inv_normalize = transforms.Normalize(
+    mean=[-0.485/0.229, -0.456/0.224, -0.406/0.225],
+    std=[1/0.229, 1/0.224, 1/0.225]
+)
+
+st.markdown("### Правила игры:")
+st.markdown("1) Введите сообщение на русском языке. Это может быть что угодно, например, случившееся недавно событие или ваши мысли")
+st.markdown("2) Приложение распознает тональность вашего настроения и выведет фото автора приложения с соответствующим настроением")
+st.markdown("3) Но нет, это не два разных фото. Это работа генеративной модели! Не верите? Попробуйте загрузить своё фото!)")
+
+st.markdown("Советы по выбору фото: лучше всего брать селфи! Или фотографии, где лицо крупным планом. Чем сильнее фото отличается от этого описания, тем хуже результат.")
+# st.markdown("<img width=200px src='https://rozetked.me/images/uploads/dwoilp3BVjlE.jpg'>", unsafe_allow_html=True)
+# ^-- можно показывать пользователю текст, картинки, ограниченное подмножество html - всё как в jupyter
+
+text = st.text_area("Введите текст:")
+# img =  st.image("testJulifil.jpg")
+# ^-- показать текстовое поле. В поле text лежит строка, которая находится там в данный момент
+# st.markdown("### Hello, world!")
+from transformers import pipeline
+
+trans = pipeline('translation', model = "Helsinki-NLP/opus-mt-ru-en")
+classifier = pipeline('sentiment-analysis', model="distilbert-base-uncased-finetuned-sst-2-english")
+res = classifier(trans(text)[0]["translation_text"])
+# st.markdown(res)
+if res[0]['label'] != 'POSITIVE':
+    labels = torch.Tensor([[0, 0]])
+    # st.markdown("Я сотру улыбку с этого лица!")
+else:
+    labels = torch.Tensor([[1, 1]])
+    # st.markdown("Я сделаю фото улыбчивым!")
+
+# st.markdown(labels)
+file = st.file_uploader("Загрузите своё фото:") # , type=['png','jpeg'])
+if file:
+
+    image_data = file.getvalue()
+    # Показ загруженного изображения на Web-странице средствами Streamlit
+    # st.image(image_data)
+    # Возврат изображения в формате PIL
+    image = Image.open(io.BytesIO(image_data))
+    # image = Image.open("test"+username+".jpg").convert('RGB')
+
+
+else:
+    image = Image.open("testJulifil.jpg")
+
+
+transform=transforms.Compose([
+    transforms.Resize(64*4),
+    transforms.CenterCrop(64*4),
+    transforms.ToTensor(),
+    transforms.Normalize(mean=[0.485, 0.456, 0.406],
+                         std=[0.229, 0.224, 0.225])
+])
+img = transform(image)
+img = img.unsqueeze(0)
+generator = torch.load("gen_model.pt", map_location=torch.device('cpu'))
+# st.write(int(labels.sum()) < 1)
+# if int(labels.sum()) > 1:
+#     st.markdown("Я сотру улыбку с этого лица!")
+# elif int(labels.sum()) < 1:
+#     st.markdown("Я сделаю фото улыбчивым!")
+x_f2 = generator(img, labels)
+res = inv_normalize(x_f2[0]).permute(1,2,0).detach().cpu().numpy()
+res = res# *255 #
+res = cv2.normalize(res, None, 220, 40, cv2.NORM_MINMAX, cv2.CV_8U)
+res = res[:,:,::-1]
+
+# plt.imshow(res)
+# cv2.imshow("res", res)
+username = "0"
+cv2.imwrite("res"+username+".jpg", res)
+img = st.image(r"res"+username+".jpg")
+# x = np.array(img)
+# cv2.imwrite("downloaded.jpeg", x)
+# st.write(x.mean())
+# import cv2
+# foto = cv2.imread(file)
+# cv2.imwrite(foto, "res.png")
+# выводим результаты модели в текстовое поле, на потеху пользователю

model.py

@@ -0,0 +1,105 @@
+import torch
+import torch.nn as nn
+
+
+class Generator(nn.Module):
+
+    def __init__(self, c_dim):
+        super(Generator, self).__init__()
+        self.g = nn.Sequential(
+            #-------Down-sampling--------------------
+            nn.Conv2d(3+c_dim, 64, kernel_size=7, stride=1, padding=3, bias=False),
+            nn.InstanceNorm2d(64, affine=True, track_running_stats=True),
+            nn.ReLU(inplace=True),
+
+            nn.Conv2d(64, 128, kernel_size=4, stride=2, padding=1, bias=False),
+            nn.InstanceNorm2d(128, affine=True, track_running_stats=True),
+            nn.ReLU(inplace=True),
+
+            nn.Conv2d(128, 256, kernel_size=4, stride=2, padding=1, bias=False),
+            nn.InstanceNorm2d(256, affine=True, track_running_stats=True),
+            nn.ReLU(inplace=True),
+
+            #--------Bottleneck---------------------------
+
+            nn.Conv2d(256, 256, kernel_size=3, stride=1, padding=1, bias=False),
+            nn.InstanceNorm2d(256, affine=True, track_running_stats=True),
+            nn.ReLU(inplace=True),
+            # (так 6 раз)
+            nn.Conv2d(256, 256, kernel_size=3, stride=1, padding=1, bias=False),
+            nn.InstanceNorm2d(256, affine=True, track_running_stats=True),
+            nn.ReLU(inplace=True),
+
+            nn.Conv2d(256, 256, kernel_size=3, stride=1, padding=1, bias=False),
+            nn.InstanceNorm2d(256, affine=True, track_running_stats=True),
+            nn.ReLU(inplace=True),
+
+            nn.Conv2d(256, 256, kernel_size=3, stride=1, padding=1, bias=False),
+            nn.InstanceNorm2d(256, affine=True, track_running_stats=True),
+            nn.ReLU(inplace=True),
+
+            nn.Conv2d(256, 256, kernel_size=3, stride=1, padding=1, bias=False),
+            nn.InstanceNorm2d(256, affine=True, track_running_stats=True),
+            nn.ReLU(inplace=True),
+
+            nn.Conv2d(256, 256, kernel_size=3, stride=1, padding=1, bias=False),
+            nn.InstanceNorm2d(256, affine=True, track_running_stats=True),
+            nn.ReLU(inplace=True),
+
+
+            #-------Up-sampling-----------------------------
+            nn.ConvTranspose2d(256, 128, kernel_size=4, stride=2, padding=1, bias=False),
+            nn.InstanceNorm2d(128, affine=True, track_running_stats=True),
+            nn.ReLU(inplace=True),
+
+            nn.ConvTranspose2d(128, 64, kernel_size=4, stride=2, padding=1, bias=False),
+            nn.InstanceNorm2d(64, affine=True, track_running_stats=True),
+            nn.ReLU(inplace=True),
+
+            nn.Conv2d(64, 3, kernel_size=7, stride=1, padding=3, bias=False),
+            nn.Tanh()
+        )
+
+
+    def forward(self, x, c):
+        # labels = self.label_embedding(labels).view(-1, 1, self.config.noise_shape, self.config.noise_shape)
+        c = c.view(c.size(0), c.size(1), 1, 1)
+        c = c.repeat(1, 1, x.size(2), x.size(3))
+        x = torch.cat([x, c], dim=1)
+        # print(f"size = {x.size()}")
+        return self.g(x)
+
+
+class Discriminator(nn.Module):
+
+    def __init__(self):
+        super(Discriminator, self).__init__()
+        self.d = nn.Sequential(
+            nn.Conv2d(3, 64, kernel_size=4, stride=2, padding=1),
+            nn.LeakyReLU(0.01),
+
+            nn.Conv2d(64, 128, kernel_size=4, stride=2, padding=1),
+            nn.LeakyReLU(0.01),
+
+            nn.Conv2d(128, 256, kernel_size=4, stride=2, padding=1),
+            nn.LeakyReLU(0.01),
+
+            nn.Conv2d(256, 512, kernel_size=4, stride=2, padding=1),
+            nn.LeakyReLU(0.01),
+
+            nn.Conv2d(512, 1024, kernel_size=4, stride=2, padding=1),
+            nn.LeakyReLU(0.01),
+
+            nn.Conv2d(1024, 2048, kernel_size=4, stride=2, padding=1),
+            nn.LeakyReLU(0.01)
+        )
+        self.conv1 = nn.Conv2d(2048, 1, kernel_size=3, stride=1, padding=1, bias=False)
+        self.conv2 = nn.Conv2d(2048, 2, kernel_size=4, bias=False)
+
+    def forward(self, x):
+        h = self.d(x)
+        out_src = self.conv1(h)
+        out_cls = self.conv2(h)
+        # print(out_cls.size())
+        return out_src, out_cls.view(out_cls.size(0), out_cls.size(1))
+

requirements.txt

@@ -0,0 +1,9 @@
+huggingface-hub @ file:///C:/b/abs_8d8wo2z8c6/croot/huggingface_hub_1667490298905/work
+numpy @ file:///C:/b/abs_datssh7cer/croot/numpy_and_numpy_base_1672336199388/work
+numpydoc @ file:///C:/b/abs_cfdd4zxbga/croot/numpydoc_1668085912100/work
+opencv-python==4.7.0.72
+sacremoses-0.0.53
+sreamlit==1.21.0
+torch==2.0.0
+torchvision==0.15.1
+transformers @ file:///C:/b/abs_8byf5_j714/croot/transformers_1667919454001/work