项目地址:https://top.aibase.com/tool/dreamtalk
雷军表示，这两项技术的获奖，标志着小米在底层核心技术能力以及操作系统领域，实现了重大突破。它们不仅代表着公司技术实力的积累，也体现了小米工程师团队敢于挑战高峰的勇气与决心。
BakLLaVA是使用LLaVA1.5架构增强的Mistral7B基础模型，具备更好的性能和商用能力。BakLLaVA在多个基准测试中优于LLaVA213B，并且可以在某些数据上进行微调和推理。虽然BakLLaVA在训练过程中使用了LLaVA的语料库，不允许商用，但BakLLaVA2则采用了更大的数据集和更新的架构，超越了当前的LLaVA方法，具备商用能力。
除了可以从文字生成音乐外，它还支持图像、视频和音频生成音乐，并且还可以编辑已有的音乐。该项目利用了MERT等编码器进行音乐理解，ViT进行图像理解，ViViT进行视频理解，并使用MusicGen/AudioLDM2模型作为音乐生成模型（音乐解码器）。用户可以轻松移除或替换特定乐器，调整音乐的节奏和速度。这使得用户能够创造出符合其独特创意的音乐作品。
Paint3D 的技术实现主要分为两个阶段:粗糙纹理生成和纹理细化。在粗糙阶段，通过预训练的2D图像生成模型获取输入的引导信息，然后将这些信息反投影到3D模型的表面上，生成初始纹理贴图。