白小交 发自 凹非寺
量子位 | 公众号 QbitAI
现在，大模型能生成RPG角色扮演游戏了。
根据初始用户输入，它能设置游戏模拟环境，并在环境中生成角色动作。
来自谷歌，北卡罗来纳大学教堂山分校新研究，他们尝试的第一款游戏叫做Unbounded，灵感来自《模拟人生》。
用户可以自定义角色的人生，比如这位名叫Archibus的巫师，他的饥饿度、能量和兴趣度会随着环境进行相应更新。
角色可以自由探索各种环境，进行各种可能的动作和互动。游戏按照交互速度，每秒就会刷新一次。
用大模型生成无限游戏
研究团队引入了一个生成无限游戏这个概念。
“无限游戏”指以延续游戏为目的游戏，生成无限游戏就是即通过使用生成式模型，超越传统受限的视频游戏。
无界（Unbounded）就是一款完全由生成式模型封装的角色生活模拟游戏。你可以虚拟世界中通过喂养、玩耍和引导角色，与他互动，但需要保证它的健康状态。
基于此，他们生成游戏的主要属性包括：角色个性化、游戏环境生成、开放式互动、实时生成。
在语言方面，他们开发了一个基于LLM的游戏引擎。这个游戏引擎能够保持游戏机制的一致性，生成连贯的叙事，并实时生成上下文角色响应。
他们的专业模型是在两个协作性强的LLM Agent自动生成的数据基础上进行微调的，无需人工注释。
以Gemma-2B为例，经过微调之后的游戏引擎，在状态更新、环境相关性、故事连贯性和指令遵循方面都表现得更为出色。
在视觉生成方面，他们引入了新型动态区域图像提示适配器（Regional IP-Adapter）。该适配器可在保持多幅图像视觉一致性的同时，生成一致的角色和环境。
具体来说，它将游戏环境和角色外观作为图像生成的条件，而游戏环境和角色外观则由交叉注意力层中注意力输出所获得的动态掩码调制。
这是为了减少环境和角色之间的干扰，使两者都能可靠地出现在场景中。
与之前的方法相比，他们的区域IP适配器采用了区块丢弃技术，能持续生成具有高度字符一致性和环境一致性的图像。
一作为上海交大校友
这篇研究主要来自谷歌以及北卡罗来纳大学教堂山分校团队。
其中一作Jialu Li目前是北卡罗来纳大学教堂山分校五年级博士生，本科毕业于上海交大，随后在康奈尔大学获得硕士学位。
对于这项研究，谷歌导师Nataniel Ruiz兴奋表示了对生成游戏的看好：未来大多数游戏都将完全由生成游戏组成。
想想《龙与地下城》等桌面角色扮演游戏的无限性——并试着想想这将如何应用于《上古卷轴》或《艾尔登法环》等游戏。
论文链接：
https://arxiv.org/abs/2410.18975
https://generative-infinite-game.github.io/
参考链接：
[1]https://x.com/JialuLi96/status/1849869554719260721
[2]https://x.com/natanielruizg/status/1849807021131874583
