童祁腾讯研究院研究员
又到一年一度的5.18国际博物馆日。2024年的主题是“博物馆致力于教育和研究”（Museums for Education and Research）。从艺术、历史到科学技术，博物馆是融汇教育和研究的重要空间，是培养好奇心、创造力和批判性思维的教育中枢，形塑我们对世界的认知。[1]
进入人工智能时代，博物馆依然持续为科研领域做出贡献，为探索和传播新思想、新技术提供平台。早在2017年，美国博物馆联盟(AAM) 就指出，“人工智能将成为 21 世纪博物馆管理海量数据的重要工具……视觉识别算法可以通过标记、排序和绘制博物馆数据库内部和之间的连接来释放数字图像收藏的潜力。”[2]
在大语言模型技术爆发后，博物馆到底如何持续助力科技研究特别是人工智能技术跃升呢？人工智能又从哪些方面对博物馆焕新？这种面向未来的技术，能否讲好人类过去的故事，并更好服务人类文明的未来呢？
技术与文化
一个绕不开的历史与当代话题
技术与文化一直是彼此缠绕、相融相生，共同驱动人类社会发展。工业革命之后，机械化生产方式的兴起，不仅提高了生产效率，也带来城市化、阶层变革、文化表现的变化，带来本雅明所谓的“机械复制时代的艺术作品”。
19世纪以后，一方面，博物馆开始广泛向公众开放，作为大众文化机构传播知识和教育；另一方面，机械复制技术让艺术作品能够大量生产和广泛传播，飞入寻常百姓家，从而让艺术的接受和欣赏更加民主化。
20世纪，信息技术的飞速发展进一步改变了人们的沟通方式、知识传播和娱乐形式，形成了所谓的“数字文化”，形塑数字文明的发展。
在当下，技术早已融入我们的日常生活中，变得无所不在又无所定形，幽灵一般影响人们思维、感知和行为。通用性和智能性更强的新一代人工智能，也把文化创意产业搅动得天翻地覆。
随着以ChatGPT为代表的大模型浪潮和生成式人工智能涌现，进一步加速人工智能的商业化路径，及其对普罗大众日常工作、消费、娱乐等的影响。
生成式人工智能指的是机器学习系统，经过训练后可以接收用户的输入（例如，某个关键词或文本“提示”），然后输出新的内容，包括音频、代码、图像、文本、视频等。
比如本周OpenAI推出新模型GPT-4o，革新语音交互功能，打造出非常情感化、自然化、实时响应的语音助手。
这意味着人机交互方式的革命性变革，从以图形用户界面（GUI）为代表的视觉交互极致发展，开始转向通过自然语言界面接入所有场景与人类交互的趋势。
有媒体认为，“这场洪水暗示了我们数字未来的一个版本，在这个版本中，我们每个人都生活在一个完全个性化的娱乐泡沫中，人工智能在几秒钟内就为我们制作了视频和歌曲。”[3]这并非危言耸听。
除了音乐、游戏、长短视频、阅读等消费内容产业之外，人工智能给传统文化特别是文博领域的传承保护所带来的影响和动能，也比我们想象中深远。文化遗产是历史留给我们的瑰宝，看似与这种未来的技术毫不相关，但历史也经由技术被卷入到未来的浪潮中。
正在影响文博领域的
人工智能技术分支
人工智能是模仿人类智能思维和行为的计算机系统，目标是让计算机具备感知、理解、学习和推理等能力，以便能够处理和解决现实世界中的问题。机器学习（包括深度学习也就是神经网络），是人工智能从上世纪90年代发展至今的一个技术范式，有自然语言处理（NLP）和计算机视觉(Computer Vision)两个主要方向。[4]
人工智能发展历史，腾讯研究院博士后胡晓萌制图
机器学习是一种通过数据和算法来学习并自动改进性能的人工智能技术，包括数据收集、数据预处理、选择合适的算法、训练模型、评估模型和优化模型等几个步骤。机器学习使用各种算法，如监督学习（处理标记数据）、无监督学习（处理未标记数据）、强化学习（与环境交互）等，来训练模型。
学界和业界普遍认为机器学习和神经网络对于文物和艺术品研究来说价值无限。[5]全球最有影响力的数字文化平台Google Arts & Culture，一直通过机器学习来分析历史上的图片/艺术品的视觉相似度，同时运用t-SNE算法对其进行主题、色彩、风格、构图等方向的分类。
自然语言处理是一种使计算机能够理解、解释和生成人类语言的技术，如文本分类、机器翻译、情感分析等任务，常用的模型包括循环神经网络（RNN）、长短时记忆网络（LSTM）、BERT等。
大语言模型（LLMs）技术的成熟，让NLP领域取得巨大突破。LLMs是NLP领域的一个重要组成部分，使得机器能够更加智能和自然地处理人类语言。并且随着各种人工技能生成技术应用的火爆，深入文化产业肌理。
利用大语言模型，博物馆可以开发聊天机器人或虚拟助手，为参观者提供个性化的导览服务，解答他们的问题，并提供展品的详细信息；大模型可以用于实时翻译，帮助不同语言背景的参观者更好地理解展品说明和文化背景，对于跨国传播和国际宣传的价值不言而喻；大模型技术还可以辅助内容生成创作，如自动生成展览的介绍文本或宣传材料。
计算机视觉是一种使计算机能够理解和解释图像和视频的技术。它包括图像分类、目标检测和图像生成等任务，常用的模型包括卷积神经网络（CNN）、Mask R-CNN等，这些模型都是由大量图像数据训练而成。
在文化领域，特别是博物馆，计算机视觉可以帮助识别、标记和分类博物馆中的艺术品和文物，帮助管理和维护藏品；通过分析文物的图像，可以辅助专家评估文物的损坏程度，甚至模拟修复过程；通过分析文物的视觉特征，帮助鉴定其真伪和起源。
此外，人工智能还可以连接不同的语音识别、语音合成、知识图谱、数字孪生、虚拟现实和增强现实等技术，为观众提供交互式和沉浸式体验，根据观众的历史行为和偏好推荐感兴趣的展品或展览等，引领文博领域的数字化转型。
博物馆使用人工智能
进行数字焕新的方式
根据 2021 年博物馆创新晴雨表（Museum innovation barometer），其覆盖的全球博物馆中，只有不到 20% 在藏品、管理、教育和财务方面使用人工智能。[6]而疫情引发了数字化在文博领域的加速，大语言模型的横空出世，也进一步刺激了前沿科技在传统领域的突飞猛进。人工智能在博物馆的应用，主要体现在保存、修复、展示、体验、发现、创新、传播等环节。
数字保存。通过数字技术将文物、遗产空间等进行数据扫描采集，建立信息档案和数据库，将文物的物理形态转换为数字格式，已经成为世界范围内文博保护的重要方式和有效路径。美、英、法、德等国家均发布过依托于数字化战略的文化救助计划, 如美国数字记忆、德国国家文化遗产科研数据基础设施、欧盟数字图书馆、芬兰国家集体记忆平台、欧洲时光机等。近年我国推进实施“国家文化数字化战略”，文化资源的数字化采集和保存是重要前提。利用人工智能驱动的3D扫描、无人机航拍等技术,可以高精度地数字化采集文物、遗址和建筑,创建虚拟3D模型。
在陕西历史博物馆的协助下，腾讯光子探索实验室依托自研的16K照扫全流程技术处理流和OSD实时点云生成系统，对彩绘雁鱼灯、鸳鸯莲瓣纹金碗、三彩骆驼载伎乐俑、牛尊、多友鼎五件珍贵文物进行了摄影扫描与数字模型制作，最大程度地还原文物真实材质纹理等细节。
数字修复。人工智能可以帮助提升现有遗产，特别是书画类作品的图片质量，消除噪点等，可以提供画布的纹理、笔触、灰尘等面对原作时肉眼难以发现的细节，正如Google Arts & Culture所呈现的“十亿像素级高清图片”。同时能生成全新的图片，作为自动剪辑修图工具，让图片处理更加高效快速和创意化。
荷兰历史上最伟大的画家伦勃朗的名画《夜巡》，曾被裁切过四周边框，2019年荷兰花费重金启动修复计划，通过搭建三个人工智能神经网络测试，最终将缺失的部分恢复并重建,这幅名画再次在阿姆斯特丹国立博物馆展出。[7]
修复工作揭示了这幅画的新元素，包括左边的三个人物。
多维展示。通过使用机器学习技术，研究人员可以创建精确的3D模型，用于复原和保护文物。例如，如果一座古老的建筑物或遗址受到破坏或自然灾害的影响，AI可以通过预先收集的数据创建其原始状态的3D模型。
在国内，腾讯和四川省文物考古研究院合作，成立联合团队，开始了首个利用AI试点文物模拟拼接的工作,顺利完成“铜兽驮跪坐人顶尊铜像”的模拟拼接，目前铜像的出土原件与模拟拼接修复的3D打印版本，正同时在三星堆新馆二层展出。[8]
交互体验。AI可以用于创建虚拟现实（VR）或增强现实（AR）体验，让公众可以以全新的方式体验文化遗产，例如虚拟参观博物馆或历史遗址。聊天机器人和游戏化设计也成为增强导游服务的流行工具。以意大利米兰凯斯博物馆(Le Case Museo)为例，通过人工智能驱动的聊天机器人作为虚拟向导，来吸引游客寻宝并创造互动体验。与其他博物馆不同的是，凯斯的聊天机器人是一款游戏，会要求观众不断寻宝。通过将游戏化元素与艺术史知识相结合，博物馆让年轻观众的参观更加愉快，并培养好奇心和探索感。”[9]
意大利米兰凯斯博物馆Le Case Museo
知识发现。人工智能技术在对博物馆藏品进行数字化保存和管理的同时，也可以帮助在它们之间建立未被发现的联系。亨利·福特美国创新博物馆推出了人工智能连接表（AI Connections Table），揭示了博物馆丰富数字收藏中意想不到的联系，例如工业革命、农业等。[10]
科研协作。腾讯SSV数字文化实验室与甲骨文的故乡、世界文化遗产殷墟所在地安阳携手，共建甲骨文开放创新平台。基于“殷契文渊”及甲骨文的字形、摹本、著录等数据，研发字形匹配、摹本生成、甲骨缀合、三维建模等系列算法；面向专家学者形成甲骨文智能搜索工具箱，实现专家学者与智能工具的人机协同。
艺术创新。2022年底，纽约现代艺术博物馆携手80后艺术家雷菲克·阿纳多尔打造全新的数字艺术展览“无人监督”（unsupervised）。雷菲克设计并训练了一个复杂的机器学习模型，去获取MoMA 馆藏中的视觉元数据并实时生成全新的超现实图像。这个名字来自于人工智能的无监督学习，指数据集不包含任何标签或结果，算法的目的是发现数据中的结构、模式或异常情况。
《无人监控》（Unsupervised）是艺术家雷菲克·阿纳多尔利用人工智能演绎的馆藏艺术、设计和摄影作品，这些作品经过分析、数字化、输入算法后，在巨大的LED墙中呈现出来，被认为是机器的幻觉和梦境。
传播教育。欧洲历史上的画作浩如烟海，几十上百万张，单凭人力没办法认清所有的图像。现在，科学家利用自然语言处理和深度学习算法训练模型，可以帮助自动生成欧洲几十万张画作的文字描述，对专业人士来说省时省力，对大众来说也能更好认识艺术。
“自行车上的圣乔治项目”由巴塞罗那超级计算中心与欧洲基金会合作领导，旨在通过利用高性能计算（HPC）资源来训练人工智能模型，为文化遗产领域提供元数据丰富能力。基本思想是利用自然语言处理和深度学习算法，训练基于数万张图像和文字描述的字幕生成模型；因此，可以自动生成来自欧洲各个文化遗产存储库的数十万张图像的描述，这将反映对文化、符号和历史背景的理解。
博物馆与人工智能
共同讲述人类文明的未来？
2023年5月，欧洲议会发布了《文化遗产和博物馆背景下的人工智能：复杂挑战与新的机遇》简报，认为欧洲有丰富的文化遗产和博物馆资源，能为文化创意产业提供源源不断的养分，但是欧洲需要借助美国的数字文化平台（比如谷歌GAC），也必须利用来自亚洲的各种硬件设备，欧洲自身的话语权在降低。[11]
这份简报指出AI有助于保护、恢复、记录、分析、推广和管理有形和无形文化遗产，但在实际应用中也存在种种问题，比如专业人士对技术的理解有限，对侵犯数据保护或版权法的恐惧，严重限制了博物馆和文化遗产部门采用该技术；资金紧缺，文化和技术专业人士的薪资不平衡；AI能为博物馆带来的商业、业务前景不明朗等等。
诚然，想要在文博领域广泛应用前沿技术，并不是简单的事情，算力基础设施、硬件设备、高质量数据、算法大模型、跨学科人才等等缺一不可，同时遗产也会牵扯到高昂的成本、复杂的流程、长期的维护等等，因此并不容易。文博领域如何主动参与到这种技术变革中，避免沦为单纯的数据提供方，是当下和未来无法绕开的难题。欧美同行指出，随着人工智能的引入，博物馆进入一个全新的数据驱动的游戏。[12]
虽然人工智能擅长处理和分析数据，通过图像识别、语音交互、知识图谱等等方式助力文博研究，作为工具提升了效率和体验。但人工智能绝不能代替人类专家的作用。博物馆是展演人类文明和历史的圣殿，在冰冷的数据分析之外，需要人类的专业知识和经验、对历史的深刻情感、批判性思维、文化理解、伦理考量、跨国跨学科跨团队合作等等。人类专家和AI技术合作，通过人机协同的方式，才能推动传统领域的进一步创新。
数字技术特别是人工智能同时成为全球瞩目的争夺文化话语权的阵地。文化软实力离不开文博领域和文化展览，但为了跟年轻一代有更好的连接，必须引入新的技术体验。以去年火爆沪上的“消失的法老—— 胡夫金字塔沉浸式探索体验展”为例，在哈佛大学专家团队的指导下，展览还原了金字塔的空间构造和虚拟脉络，为观众提供多维的沉浸式探索体验，引发海内外的观展狂潮。[13]这无疑为中国故事的海外传播，提供极强的借鉴。
我们期待人工智能为过去和未来的人类故事提供更好的技术连接。这提醒我们，定义我们未来故事的人工智能算法需要更多有关文化和遗产的创造性和多样性内容。
我们也期待通过新技术，为世界讲述一个既源远流长又日新月异的中国故事。
参考资料来源:
[1]国际博协发布2024年国际博物馆日主题https://www.chinamuseum.org.cn/cma/detailss.html?id=18&contentId=13544
[2]AI-enabled technologies could help museums survive the digital age, 2017/11/06https://venturebeat.com/ai/ai-enabled-technologies-could-help-museums-survive-the-digital-age/
[3]Ben Schreckinger, AI vs. the culture industry, 2023/04/24, https://www.politico.com/newsletters/digital-future-daily/2023/04/24/ai-vs-the-culture-industry-00093550
[4]《深度学习研究综述》，张荣等，《信息与控制》，2018年第47卷
[5]Museums and AI: how to use artificial intelligence in digital museums, 2021/08/25,https://blog.pigro.ai/en/digital-museums
[6]Museum innovation barometer 2021, https://cultureactioneurope.org/knowledge/museum-innovation-barometer-2021/
[7]Rembrandt's The Night Watch painting restored by AI,2021/06/24,https://www.bbc.com/news/technology-57588270
[8]AI技术助力三星堆文物新生，科技日报，2024/05/13https://app.kjrb.com.cn/app/template/displayTemplate/news/newsDetail/42498.html?isDigital=true&isShare=true
[9]Museums and AI: how to use artificial intelligence in digital museums, 2021/08/25,https://blog.pigro.ai/en/digital-museums
[10]AI Connections Table，https://www.bluecadet.com/work/thf-connections-table/
[11]Artificial intelligence in the context of cultural heritage and museums: Complex challenges and new opportunities, 2023/4/28,https://www.europarl.europa.eu/thinktank/en/document/EPRS_BRI%282023%29747120
[12]How is AI Changing Interactive Museum Exhibitions and Visitor Centres?https://www.madesignstudios.co.uk/ai-interactive-museum-exhibitions/
[13]博新元宇宙、EXCURIO、HTC VIVE联合推出「消失的法老——胡夫金字塔沉浸式探索体验展」https://baijiahao.baidu.com/s?id=1765925751340618013&wfr=spider&for=pc
腾讯研究院：《为“人山人海”的三星堆博物馆寻找分流方式和专属观展记忆》
童祁：《在地、在线、在场：博物馆数字化创新的三重维度》