课堂案例分享 | AI梵高/AI数据绘画沉浸体验

2023-06-01

由中国人民大学信息资源管理学院冯惠玲教授、刘越男教授、严承希博士和国学院华建光副教授主讲的《数字人文导论》是中国人民大学本科生通识核心课程之一，面向全校本科生开设。课程内容包括数字人文的基本概念、历史源流、发展脉络、基本方法和技术、前沿议题等。本系列推文是该课程学生的学习成果展示。

“AI梵高/AI 数据绘画沉浸体验”

项目评介

本期由2021级外国语学院孟春月、经济学院唐棠，2022级信息资源管理学院王烨培共同完成，以“AI梵高/AI 数据绘画沉浸体验”项目为研究对象，对项目的团队、方法、成果进行系统梳理，并对项目的特色创新点及局限性进行简要评述，呈现多形式、多媒介、多种类的展示。

一、导语

梵高，一个孤独的火焰作家，是将生命燃烧奉献给艺术的人。其开创性地将个人情感融于画作中，让时光都无法削减一丝一毫的生命意味，被誉为“现代艺术之父”。从他的一幅幅画作中看过，耳边似乎响起了梵高写给弟弟的书信的声音，“当我画一个太阳，我希望人们感觉它在以惊人的速度旋转，正在发出骇人的光热巨浪；当我画一片麦田，我希望人们感觉到麦子正朝着它们最后的成熟和绽放努力。”《星夜》《罗纳河上的星空》《杏花》《向日葵》《麦田里的乌鸦》……其情绪、色彩、认知、技巧、感情，哪一个不是巅峰造极？承前人之风，为后世奠基。

“AI VAN GOGH/AI DATA PAINTING_Immersive Experience”项目（简称“AI梵高”）通过人工智能和GAN算法收集和处理了梵高生前创作的所有作品，并使用数据绘画技术和调色板的结合，让梵高独特而富有生命力的绘画更为真切、广阔而震撼地来到我们身边。

640(1).jpg

二、团队介绍

Ouchhh团队是一个由科学家组成的艺术创意工作室，其总部位于土耳其的伊斯坦布尔，擅长采用人工智能艺术、工程学、创意数据编码、动态影像学和多媒体艺术等最新科技方法，把人类生活中的事物，如建筑、音乐、绘画、科学、时尚设计、户外风景等，通过多媒体艺术的展现形式，让科技与艺术共筑的桥梁架入大众的日常生活。其团队曾获得多项国际大奖，如德国红点奖、国际设计奖、ADC国际奖、德国设计奖等。

三、项目介绍

3.1 项目方法

“AI梵高”项目通过创意数据编码赋能艺术科技，利用神经网络创建一些充满艺术感的美丽作品。其中不仅有模仿梵高的风格和技法的，还有基于AI的学习和创新生成的超出先前想象的作品，并将图像或文字转化为音乐，再利用神经网络去学习不同的音乐风格和情绪，然后根据构建好的模型来生成相应的韵律和节奏，以表达情感，并依托生成对抗网络（GAN）来实现循环的生成和变化。这一创意可以让观众感受到机器的创造力和技术的美感，也展示了AI在创意数据编码和机器学习中的应用。

（1）神经网络

神经网络是指一种类似于人脑神经系统的计算模型。神经网络通过学习数据集的特征，并通过调整神经元之间的连接权重，以进行分类、预测或其他任务。其学习的过程主要包括前向传播和反向传播两个阶段。在前向传播中，输入层接受输入数据并将其传递到下一层，直至输出层生成输出结果。在反向传播中，将网络的输出结果与实际结果比较，根据差距调整每个神经元之间的连接权重，从而优化神经网络的性能。

（2）生成对抗网络（GAN）

GAN是一种无监督机械学习的方法，通过让两个神经网络相互博弈的方式进行学习。GAN由一个生成模型和一个判别模型组成。生成模型的任务是生成看起来自然真实的、和原始数据相似的数据实例。判别模型的任务则是判断给定的数据实例看起来是自然真实的还是人为伪造的。模型经过交替优化训练，使两种模型都得到提升，直到生成模型能够以假乱真。

（3）图片生成音频

由图片生成相应的音律和节奏的人工智能算法属于是一种基于深度学习的音乐生成方法。这种方法通过利用生成对抗网络（GAN）、变分自编码器（VAE）、Transformer等神经网络架构，提取输入图片的特征和风格，然后映射到音乐的表示空间，去生成音乐的参数或符号，最后再通过合成器或声码器将之前的映射数据转换为音频输出。此类方法的难点在于如何定义和度量图片和音乐之间的相似性或对应关系，以及如何去评估生成音乐的质量和创造力。有一些此类研究项目已经展示了一些有趣的结果和测试版，例如Pix2Song3、Image2Music等。

3.2 项目成果

人工智能梵高数据绘画体验网站：https://ouchhh.tv/

（1）数据可视化作品、多媒体艺术品：

基于数据可视化的“DATAMONOLITH_AI”和“POETIC AI”，通过将大量的数据转化为动态的图像和声音，来探索人类和机器之间的关系，以及数据对于我们认知和感知世界的影响；

基于虚拟现实和增强现实的《HAKANAÏ》和《RESONANCE》，通过将数字元素与真实空间相结合，创造出沉浸式和互动式的体验，让观众能够在虚拟和现实之间自由穿梭，并参与到艺术创作中；

基于机器学习和神经网络，如《NEURON》和《MIMIC》，通过让机器模仿人类或自然界的行为或形态，来探索机器是否具有创造力或情感，并挑战我们对于生命和智能的定义。

（2）平行宇宙展览

Ouchhh 团队通过收集、扫描、分析 , 学习了梵高 9000 多幅油画和 1100幅素描，使用各种人工智能算法，尤其是GAN算法对其进行重构, 在线下展览中,综合运用多媒体技术,呈现出拥有120亿个粒子的飞速移动，30分钟的影像，令参观者完全置身于梵高的世界中。

3.3 作品评价

我们使用chat GPT对作品进行评价，以下为结果示例。

“DATAMONOLITH_AI”是一个基于数据可视化和人工智能的作品，它将来自NASA、欧洲空间局、日本航空局等机构的数百万条太空数据转化为三维立体雕塑，并通过投影仪将其呈现在真实空间中。这个作品不仅创造了一个震撼人心的视觉效果，而且也探讨了数据在我们认知和感知世界中所扮演的角色。它让我们重新思考我们与数据之间的关系，以及数据背后所隐藏或暴露出来的真相。

“《HAKANAÏ》”是一个基于虚拟现实和增强现实技术的作品，它将一个舞者置于一个由数字元素构成的立方体中，并让舞者与这些元素进行互动。这个作品通过将真实和虚拟相结合，创造出一种沉浸式和互动式的体验，让观众能够感受到舞者的动作和情感，以及数字元素的变化和反馈。这个作品不仅展示了虚拟现实和增强现实技术在艺术表达中的可能性，而且也探索了人与环境之间的关系，以及身体、空间、时间等概念的重新定义。

四、项目特色与创新点

本项目将看不到的数据转化成一件艺术品，一件可以让观众看到的艺术品，体现了新媒体艺术的创新: 综合使用人工智能、虚拟现实、机器学习和神经网络等前沿科技，并融合音乐、舞蹈、建筑、绘画、科学等多学科内容, 以数据为画笔，以科学算法为画布，将数据转化为一种可以通过不同方式被社会大众体验的审美资产。

4.1 技术层面

（1）不仅充分利用了数字技术在处理大量数据、生成复杂图像、仿真物理模型等方面的优势，而且也不断探索了数字技术在提供沉浸式体验、实现互动性、增强创造力等方面的潜力。

（2）平行世界展览也展示了数字技术在艺术表达和传播中的新可能性。譬如,在展览中利用了投影仪、屏幕、传感器等设备来将数字元素与真实空间相结合，创造出一种超越传统媒介限制的艺术形式。

（3）充分利用网络平台和线下展览相结合的方式，一方面将数字艺术作品在网络平台上与全球观众分享和交流，跨越地域界限进行艺术传播,另一方面通过线下展览,将这种艺术形式以更深的维度展现给实地参观的观众,为其带来更为真实的体验。

4.2 人文角度

（1）对梵高作品的分析处理，既是在传承，也是在创造，切合了当下的社会热点问题，如环境保护、教育平等等，通过艺术的形式表达了项目团队自身的思考。

（2）网站的作品展现了数字技术在帮助我们认识和感知世界方面的作用，譬如从传统的视听转向到运用虚拟现实、动态影像学等技术创造多媒体艺术盛宴，增加了触觉与思维的参与感，从而在一定程度上揭示了数字技术在改变和影响我们的思维和行为。

将科学和技术与艺术结合的新媒体艺术要能够满足观众的需要。大部分的观众都会被某件艺术品震动心灵，当观众被触动，其内心世界就会和艺术的世界平行前进。艺术愉悦了你的眼睛。科学沟通了两个世界。将这两者联合起来会让观众产生一种新的思考方式，而这种思考方式拉近了艺术家和观者之间的心灵默契。艺术和科学的结合也产生了一个有趣的一个方面：它让观众可以从多维视角去思考创意过程中的本体。

五、项目局限性及建议

5.1 技术层面

（1）部分图片与预期不符

比如尽管现有算法可以根据输入的图像以及设定的参数生成一些看似新的图像，但由于各种因素，导致生成的图像和预想的风格有所偏差。

（2）信息透明度不够

该项目使用了人工智能和GAN算法处理了梵高的作品，但没有说明具体的方法和参数，数据失真或偏差的可能性令人不免产生了一定的质疑——究竟这个AI梵高项目的AI参与度有多高？这些项目是否由人工承担了相当大程度的工作？建议项目可以提供更完善和更透明的数据来源和处理方式，让参观者可以更信任和理解他们的作品。

5.2 互动性需要加强

（1）该项目在网站的作品页面提供了视频和动图的播放功能，但缺乏全屏或沉浸式的观看模式，削减了一定的体验感。

（2）该项目可以考虑添加多种语言的语言介绍或解说，让参观者可以用母语进行最纯真的体验。

5.3内容丰富性和可持续性

该项目虽然提供了额外的功能，但是似乎已经停用，期待该项目实时更新一下网站；添加、更新或改进功能，让作品得以持续的更新、进步与完善。

六、研究报告多形式多媒介多种类展示

依据项目的研究报告，项目组分别制作了精美的公众号推文，以及节奏感明快、颇具抽象艺术风格的动感艺术视频。旨在通过各种新兴媒体方式，将项目的研究报告结果传递出去，让大众更为直观地体会到研究的结果并获得自己的感悟。

AI VAN GOGH/AI DATA PAINTING_Immersive Experience

项目二维码链接

校对：李向诚许凯乐

排版：高歌

研究项目

课堂案例分享 | AI梵高/AI数据绘画沉浸体验

最新公告

“数实共生：预见数字人文未来图...

中国人民大学数字人文研究院科研助理招聘启事

中国人民大学数字人文研究中心学生研究员招聘&...

2020数字人文年会

联系我们

相关链接