{"id":19177,"date":"2023-03-14T23:55:01","date_gmt":"2023-03-14T22:55:01","guid":{"rendered":"https:\/\/dhd-blog.org\/?p=19177"},"modified":"2023-03-15T15:27:20","modified_gmt":"2023-03-15T14:27:20","slug":"illustrierte-digitial-humanities-die-vortraege-der-dhd2023-visualisiert-mit-stable-diffusion","status":"publish","type":"post","link":"https:\/\/dhd-blog.org\/?p=19177","title":{"rendered":"Illustrierte Digitial Humanities \u2013 Die Vortr\u00e4ge der DHd2023 visualisiert mit Stable Diffusion"},"content":{"rendered":"\n

Lukas Panzer (Universit\u00e4t Bamberg)<\/em><\/p>\n

Dieser Beitrag ist im Rahmen meines Reisestipendiums f\u00fcr die DHd 2023 \u201cOpen Humanities Open Culture\u201c vom 13. bis 17. M\u00e4rz 2023 entstanden. Ich m\u00f6chte mich hier nochmals bei NFDI 4Culture und den Organisatoren bedanken, die mir mit dem Stipendium dieses Erlebnis erm\u00f6glicht haben.<\/em><\/p>\n\n\n\n

Sp\u00e4testens seit dem Release von ChatGPT von OpenAI letzten Jahres ist die Generierung von allt\u00e4glichen Inhalten mittels AI in aller Munde [7]. Darunter fallen – wie j\u00fcngst in den Medien diskutiert [12] – nicht nur Texte, wie Hausaufgaben, E-Mails oder Briefen, sondern mit Hilfe anderer Systeme auch Grafiken, die im Alltag Verwendung finden k\u00f6nnen.<\/p>\n\n\n\n

Stable Diffusion ist eines der prominentesten Beispiele f\u00fcr bildgenerierende Modelle, das einige Monate vor dem Allesk\u00f6nner ChatGPT ver\u00f6ffentlicht wurde und beeindruckende Ergebnisse verspricht [3, 11]. Die DHd2023 schien mir perfekt geeignet, um durch die Generierung von Illustrationen der Vortr\u00e4ge dieses Verfahren zu testen und zu reflektieren.<\/p>\n\n\n\n

Stable Diffusion ist ein Text-zu-Bild-Modell, das anhand von Text sowohl Bilder generieren als auch ver\u00e4ndern oder Details hinzuf\u00fcgen kann. Hierf\u00fcr wird ein sogenanntes latentes Diffusionsmodell genutzt, eine Variante eines mehrschichtigen generativen neuronalen Netzwerks, das vom CompVis-Team der LMU M\u00fcnchen entwickelt wurde [3, 9]. Um gute Ergebnisse zu erzielen, wurde das Modell, wie auch andere \u00e4hnliche Modelle (z.B. DALL-E 2 [6]) an Milliarden von Bildern trainiert. Ein latentes Diffusionsmodell lernt \u2013 stark vereinfacht \u2013 indem es den vorhandenen Daten schrittweise Rauschen hinzuf\u00fcgt und danach versucht diese durch Entfernen des Rauschens wiederherzustellen. Zum Generieren von Bildern wird einem trainierten Modell dann zuf\u00e4llig gew\u00e4hltes Rauschen in den Entrauschungsprozess gegeben [5, 9].<\/p>\n\n\n\n

Die Bilder habe ich mit dem speziellen Stable Diffusion Modell \u201cOpenjourney\u201d [8] erstellt, welches das Standardmodell mit von einer anderen AI \u201cMidjourney\u201d [4] generierten Bilder gefinetuned hat. So kann – wenn gewollt – einen etwas abstrakten, Fantasy-lastigen Style in die Ergebnisse einflie\u00dfen. In Abbildung 1 ist an Beispielen zu sehen, wie Bilder dieses Modells im Vergleich zum Original aussehen. Als komfortables Interface habe ich ein WebUI von camenduru verwendet, der f\u00fcr viele verschiedene Modelle Interfaces bereitstellt [2].<\/p>\n\n\n\n

\"\"<\/a>
Abbildung 1: Ergebnisse desselben Inputs von Stable Diffusion v1.5 (links) und Openjourney mit gewolltem Midjourney Einfluss (rechts);
Quelle: [8]<\/figcaption><\/figure>\n\n\n\n

Bei der Erstellung der Bilder habe ich viele Funktionen von StableDiffusion genutzt, wie img2img und impainting, um die Ergebnisse zu verbessern und m\u00f6glichst verst\u00e4ndlich zu gestalten. Die initiale Generierung und Selektion geschahen manuell, um unangemessene und ethisch problematische Ergebnisse auszusortieren. Au\u00dferdem wurde keines der Bilder mit Hilfe von Photoshop oder \u00e4hnlichem nachbearbeitet. Grund f\u00fcr solche Ergebnisse ist der umstrittene LAION Datensatz, der sehr vielen solcher Modelle zu Grunde liegt [1, 9, 10].
Dieser beinhaltet eine riesige Ansammlung verschiedener Text und Bild-Daten aus dem Internet. Da diese ohne einen Filterprozess einflie\u00dfen, sind unter diesen sowohl Texte als auch Bilder obsz\u00f6ner Art [10]. Zwar filtern neuere bildgenerierende Modelle mittlerweile unangemessene Ergebnisse, allerdings funktioniert dies noch nicht zuverl\u00e4ssig genug.
Zudem ist das Copyright der generierten Bilder aktuell noch eine rechtliche Grauzone [10].<\/p>\n\n\n\n

<\/p>\n\n\n\n

Eine Auswahl der generierten Bilder:<\/p>\n\n\n\n

\n
\"\"<\/a><\/figure>\n\n\n\n
\"\"<\/a><\/figure>\n\n\n\n
\"\"<\/a><\/figure>\n<\/figure>\n\n\n\n
<\/div>\n\n\n\n
\n
\"\"<\/a><\/figure>\n\n\n\n
\"\"<\/a><\/figure>\n\n\n\n
\"\"<\/a><\/figure>\n<\/figure>\n\n\n\n
<\/div>\n\n\n\n
\n
\"\"<\/a><\/figure>\n\n\n\n
\"\"<\/a><\/figure>\n\n\n\n
\"\"<\/a><\/figure>\n<\/figure>\n\n\n\n

\u00a0<\/p>\n

Literaturverzeichnis<\/strong><\/p>\n

[1] A. Birhane, V. U. Prabhu, und E. Kahembwe, \u201eMultimodal datasets: misogyny, pornography, and malignant stereotypes\u201c, 2021.
[2] camenduru, \u201estable-diffusion-webui-colab\u201c. https:\/\/github.com\/camenduru\/stable-diffusion-webui-colab (zugegriffen 14. M\u00e4rz 2023).
[3] CompVis, \u201estable-diffusion \u00b7 Hugging Face\u201c. https:\/\/huggingface.co\/CompVis\/stable-diffusion (zugegriffen 14. M\u00e4rz 2023).
[4] Midjourney, \u201eMidjourney\u201c. https:\/\/www.midjourney.com\/home\/ (zugegriffen 14. M\u00e4rz 2023).
[5] R. O\u2019Connor, \u201eIntroduction to Diffusion Models for Machine Learning\u201c, 12. Mai 2022. https:\/\/www.assemblyai.com\/blog\/diffusion-models-for-machine-learning-introduction\/ (zugegriffen 14. M\u00e4rz 2023).
[6] OpenAI, \u201eDALL\u00b7E 2\u201c. https:\/\/openai.com\/product\/dall-e-2 (zugegriffen 14. M\u00e4rz 2023).
[7] OpenAI, \u201eIntroducing ChatGPT\u201c, 30. November 2022. https:\/\/openai.com\/blog\/chatgpt (zugegriffen 14. M\u00e4rz 2023).
[8] prompthero, \u201eopenjourney \u00b7 Hugging Face\u201c. https:\/\/huggingface.co\/prompthero\/openjourney (zugegriffen 14. M\u00e4rz 2023).
[9] R. Rombach, A. Blattmann, D. Lorenz, P. Esser, und B. Ommer, \u201eHigh-Resolution Image Synthesis With Latent Diffusion Models\u201c, in Proceedings of the IEEE\/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Juni 2022, S. 10684\u201310695.
[10] C. Schuhmann, R. Vencu, R. Beaumont, R. Kaczmarczyk, C. Mullis, A. Katta, T. Coombes, J. Jitsev, und A. Komatsuzaki, \u201eLAION-400M: Open Dataset of CLIP-Filtered 400 Million Image-Text Pairs\u201c, 2021.
[11] Stability AI, \u201eStable Diffusion Public Release\u201c. https:\/\/stability.ai\/blog\/stable-diffusion-public-release (zugegriffen 14. M\u00e4rz 2023).
[12] M. Wedig, \u201eChatGPT in der Schule:\u202f\u00bbKI ersetzt nicht den gemeinsamen Unterricht\u00ab\u202f- DER SPIEGEL\u201c, 12. M\u00e4rz 2023. https:\/\/www.spiegel.de\/deinspiegel\/chatgpt-in-der-schule-ki-ersetzt-nicht-den-gemeinsamen-unterricht-a-416fae9d-c377-41cb-94b5-d642c69da133 (zugegriffen 14. M\u00e4rz 2023).<\/p>\n","protected":false},"excerpt":{"rendered":"

Lukas Panzer (Universit\u00e4t Bamberg) Dieser Beitrag ist im Rahmen meines Reisestipendiums f\u00fcr die DHd 2023 \u201cOpen Humanities Open Culture\u201c vom 13. bis 17. M\u00e4rz 2023 entstanden. Ich m\u00f6chte mich hier nochmals bei NFDI 4Culture und den Organisatoren bedanken, die mir mit dem Stipendium dieses Erlebnis erm\u00f6glicht haben. Sp\u00e4testens seit dem Release von ChatGPT von OpenAI […]<\/p>\n","protected":false},"author":358,"featured_media":19185,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-19177","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-allgemein"],"_links":{"self":[{"href":"https:\/\/dhd-blog.org\/index.php?rest_route=\/wp\/v2\/posts\/19177","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/dhd-blog.org\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/dhd-blog.org\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/dhd-blog.org\/index.php?rest_route=\/wp\/v2\/users\/358"}],"replies":[{"embeddable":true,"href":"https:\/\/dhd-blog.org\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=19177"}],"version-history":[{"count":6,"href":"https:\/\/dhd-blog.org\/index.php?rest_route=\/wp\/v2\/posts\/19177\/revisions"}],"predecessor-version":[{"id":19198,"href":"https:\/\/dhd-blog.org\/index.php?rest_route=\/wp\/v2\/posts\/19177\/revisions\/19198"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/dhd-blog.org\/index.php?rest_route=\/wp\/v2\/media\/19185"}],"wp:attachment":[{"href":"https:\/\/dhd-blog.org\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=19177"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/dhd-blog.org\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=19177"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/dhd-blog.org\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=19177"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}