Punktwolken. Scatterplots und Tabellen als User-Interfaces Künstlicher 'Intelligenz'
Creators: name: Hunger, Francis
Publisher: name: Zenodo
Year: 2023
Subjects: User Interface, Visualisierung, Scatterplot, Tabelle, UMAP, T-SNE, Machine Learning, Künstliche Intelligenz

description: Scatterplots und tabellarische Strukturen sind die wichtigsten grafischen User-Interfaces für die diagrammatische Darstellung großer Bilddatensammlungen, die mit visuellen Erkennungswerkzeugen verarbeitet wurden. In dieser Studie werden verschiedene Medienvisualisierungen als Fallbeispiele diskutiert: ARTigo (LMU München), Imgs.ai (UC Santa Barbara/Bildarchiv Foto Marburg), iArt (Universitäten München und Hannover), Vikus Viewer (FH Potsdam), und X Degrees of Separation (Google). Darüber hinaus wird untersucht, wie diese Projekte die Visualisierungsalgorithmen PCA, t-SNE und UMAP im Verhältnis zu künstlichen gewichteten Netzen wie VGG19 oder CLIP einsetzen und es werden praktische Vorschläge für eine Umgang mit den identifizierten Problemen gemacht.
description: {"references": ["Biederman, Irving. 1987. Recognition-by-components: A theory of human image understanding. Psychological Review 94, Nr. 2 (April): 115\u2013147. doi:10/c9dqh2", "B\u00f6nisch, Dominik. 2021. The Curator's Machine. Clustering von musealen Sammlungsdaten durch Annotieren verdeckter Beziehungsmuster zwischen Kunstwerken. Training the Archive \u2013 Working Paper, Aachen/Dortmund. doi:10.5281/ZENODO.4604880", "Bowker, Geoffrey C. 2014. The Theory/Data Thing Commentary. International Journal of Communication 8: 1795\u20131799", "Bowker, Geoffrey C. und Susan Leigh Star. 1999. Sorting Things Out \u2013 Classification and its Consequences. Cambridge, MA: MIT Press", "Br\u00fcggemann, Viktoria, Mark-Jan Bludau, Christopher Pietsch und Marian D\u00f6rk. 2022. Von der Wolke zum Pfad \u2013 Visuelle und assoziative Exploration zweier kultureller Sammlungen. Zenodo. doi:10.5281/ZENODO.6327939", "Bry, Fran\u00e7ois, Clemens Schefels und Corina Schemainda. 2018. Eine qualitative Analyse der ARTigo-Annotationen: Serious Games, Games With A Purpose, Suchmaschine f\u00fcr Kunstwerke, Kunstgeschichte, Human Computation, semantische Tiefe. Hg. von Piotr Kuroczy\u0144ski, Peter Bell, und Lisa Dieckmann. Computing Art Reader: 96\u2013114. doi:10.11588/ARTHISTORICUM.413.C5771", "Chun, Wendy Hui Kyong. 2021. Discriminating Data \u2013 Correlation, Neighborhoods, and the new Politics of Recognition. Cambridge, MA: MIT Press", "Correll, Michael. 2022. Bad Ideas In Visualization. Medium. 6. Januar. https://mcorrell.medium.com/bad-ideas-in-visualization-77d378148d35 (zugegriffen: 24. M\u00e4rz 2022)", "D. Haggerty, Kevin und Richard V. Ericson. 2000. The surveillant assemblage. British Journal of Sociology 51, Nr. 4 (1. Dezember): 605\u2013622. doi:10.1080/00071310020015280", "Deffebach, Nancy. 2015. Mar\u00eda Izquierdo and Frida Kahlo: Challenging visions in modern Mexican art. Latin American and Caribbean arts and culture. Austin, TX: University of Texas Press", "Dobson, James E. 2019. Critical Digital Humanities \u2013 The Search for a Methodology. Topics in the digital humani-ties. Urbana, Illinois: University of Illinois Press", "Few, Stephen. 2005. Effectively Communicating Numbers \u2013 Selecting the Best Means and Manner of Display. Proclarity White Paper. https://www.perceptualedge.com/articles/Whitepapers/Communicating_Numbers.pdf", "Few Stephen 2012. Show me the numbers. Berkeley, CA: Analytics Press", "Friendly, Michael und Daniel Denis. 2005. The early origins and development of the scatterplot. Journal of the History of the Behavioral Sciences 41, Nr. 2: 103\u2013130. doi:10.1002/jhbs.20078", "Galloway, Alexander R. 2012. The Interface Effect. Cambridge: Polity Press", "Geirhos, Robert, Patricia Rubisch, Claudio Michaelis, Matthias Bethge, Felix A. Wichmann und Wieland Brendel. 2019. ImageNet-trained CNNs are biased towards texture \u2013 increasing shape bias improves accuracy and robust-ness. arXiv:1811.12231 (14. Januar). http://arxiv.org/abs/1811.12231", "Gitelman, Lisa. 2013. Raw data is an Oxymoron. Cambridge, MA: MIT Press", "Glinka, Katrin, Christopher Pietsch und Marian D\u00f6rk. 2017. Von sammlungsspezifischen Visualisierungen zu nach-nutzbaren Werkzeugen. In: Books of Abstracts, hg. von Michael Stolz und Patrick Helling, 204\u2013207. Bern. https://uclab.fh-potsdam.de/wp/wp-content/uploads/dhd2017-aus-programm.pdf", "Hunger, Francis. 2021a. \"Why so many windows?\" \u2013 Wie die Bilddatensammlung ImageNet die automatisierte Bilderkennung historischer Bilder beeinflusst. Training the Archive \u2013 Working Paper 2, Aachen/Dortmund (1. Juni). doi:10.5281/ZENODO.4742621", "Hunger, Francis 2021b. Curation and its Statistical Automation by means of Artificial \"Intelligence\". Training the Archive \u2013 Working Paper, Aachen/Dortmund (16. November). doi:10/gn8dn7", "Hunger, Francis 2022. Die Form der Datenbank \u2013 Genealogien, Operationalit\u00e4ten und Praxeologien relationaler Datenbanken in Ost und West. Dissertation, Weimar: Bauhaus Universit\u00e4t Weimar [in Vorbereitung]", "K\u00f6nig, D\u00e9nes. 1936. Theorie der endlichen und unendlichen Graphen. Hg. von Horst Sachs und H. Sachs. 1936 Reprint. Teubner-Archiv zur Mathematik 6. Leipzig: Teubner", "Kr\u00e4mer, Sybille. 2010. Notationen Schemata und Diagramme \u2013\u202f\u00bbR\u00e4umlichkeit\u00ab\u202fals Darstellungsprinzip. In: Notatio-nen und choreographisches Denken., hg. von Gabriele Brandstetter, Franck Hofmann, und Kirsten Maar, 29\u201345. Freiburg/Berlin/Wien: Rombach Verlag", "Kr\u00e4mer, Sybille und Horst Bredekamp. 2003. Kultur, Technik, Kulturtechnik \u2013 Wider die Diskursivierung der Kultur. In: Bild, Schrift, Zahl., hg. von Sybille Kr\u00e4mer und Horst Bredekamp, 11\u201322. Kulturtechnik. M\u00fcnchen: Fink", "Kubovy, Michael und Martin van den Berg. 2008. The whole is equal to the sum of its parts \u2013 A probabilistic model of grouping by proximity and similarity in regular patterns. Psychological Review 115, Nr. 1 (Januar): 131\u2013154. doi:10/b2vw3s", "Latour, Bruno. 1987. Science in Action \u2013 How to follow Scientists and Engineers through Society. Cambridge, MA: Harvard University Press", "Manovich, Lev. 2020. Cultural analytics. Cambridge, MA: The MIT Press", "McInnes, Leland, John Healy und James Melville. 2020. UMAP \u2013 Uniform Manifold Approximation and Projection for Dimension Reduction. arXiv:1802.03426 (17. September). http://arxiv.org/abs/1802.03426", "Radford, Alec, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, u. a. 2021. Learning Transferable Visual Models From Natural Language Supervision. arXiv, 26. Februar. http://arxiv.org/abs/2103.00020", "Russell, Henry Norris. 1914. Relations between the Spectra and Other Characteristics of Stars. In: Popular Astron-omy, 22:275\u2013294. Mai", "Sarikaya, Alper und Michael Gleicher. 2018. Scatterplots \u2013 Tasks, Data, and Designs. IEEE Transactions on Visuali-zation and Computer Graphics 24, Nr. 1 (Januar): 402\u2013412. doi:10.1109/TVCG.2017.2744184", "Schneider, Stefanie und Hubertus Kohle. 2021. Bilderlesemaschinen \u2013 Einsatzszenarien maschineller Lernverfah-ren im musealen Raum. 28. Mai, Museum and the Internet (MAI) 2021 Tagung. https://www.youtube.com/ watch?v=lsSpzjtS-rM (zugegriffen: 5. Januar 2022)", "Simonyan, Karen und Andrew Zisserman. 2015. Very Deep Convolutional Networks for Large-Scale Image Recog-nition. arXiv:1409.1556 [cs] (10. April). http://arxiv.org/abs/1409.1556", "Springstein, Matthias, Stefanie Schneider, Javad Rahnama, Eyke H\u00fcllermeier, Hubertus Kohle und Ralph Ewerth. 2021. iART \u2013 A Search Engine for Art-Historical Images to Support Research in the Humanities. arXiv:2108.01542 (3. August). http://arxiv.org/abs/2108.01542", "Taylor, Frederick Winslow. 1903. Shop Management. London, New York, NY: Harper &amp; Brothers", "Toshev, Alexander und Christian Szegedy. 2014. DeepPose \u2013 Human Pose Estimation via Deep Neural Networks. 2014 IEEE Conference on Computer Vision and Pattern Recognition (Juni): 1653\u20131660. doi:10/ggtmv3", "Tufte, Edward R. 1983. The Visual Display of Quantitative Information. Cheshire: Graphics Press", "Wilke, C. 2019. Fundamentals of Data Visualization \u2013 A Primer on making Informative and Compelling Figures. Sebastopol, CA: O'Reilly Media", "Zhaoping, Li. 2019. A new framework for understanding vision from the perspective of the primary visual cortex. Current Opinion in Neurobiology 58 (Oktober): 1\u201310. doi:10/ghndbt"]}