上一章我们讲解了虚拟偶像的构成方案,而应各位的要求,这回会以两条路线来引导各位成为虚拟偶像。
第一条路线很简单朴实,那就是找软件进行下载,也叫小白线。
正好有位朋友整理了十六个软件供大家选择——取自“普通人怎么做虚拟主播?我们找到了18个制作工具 - 三文娱的文章 - 知乎
https://zhuanlan.zhihu.com/p/76862511”
1.【智能手机】
要做虚拟主播,门槛最低的硬件就是智能手机了,也因为其成本够低,所以角色模型和动作捕捉的精细程度都较为局限。下面是9款智能手机能够使用的虚拟主播相关APP。
1.CUSTOMCAST(カスタムキャスト)
这是dwango和S-court共同推出的手机软件,支持IOS和安卓,软件基本免费,内部部分项目付费。这款软件提供3D角色设计功能,并能够让用户直接在“niconico直播”上做节目,是属于提供从角色制造到直播一站式服务的软件。用户可以在表情、身体、服饰等多方面设计自己中意的角色,在直播时亦可设定姿势和表情。
软件需要用到手机的摄像头和麦克风。关于角色的口型,用户可以选择声音感应或者镜头识别。
GooMe
这个是TriFort推出的直播手机软件,支持IOS和安卓,软件基本免费,内部部分项目需要付费。这款软件既提供角色设计功能,又提供直播功能。GooMe主打造型可爱的3D角色,角色的上半身可动,背景也可更换。GooMe目前的定位是“虚拟咖啡店型LIVE”服务,即用户在做直播节目时虚拟场景以咖啡店相关。
软件需要用到手机摄像头和麦克风。另外值得一提的是,观众可以在直播节目时自由调整镜头缩放和角度。不过,由于软件开发的完成度不算高,镜头的动作捕捉功能较为迟钝,并且运动不流畅,嘴型也没办法很好地对应。
MakeAvatar
这是Gugenka推出的3D造型设计手机软件,不提供直播和视频制作服务,支持IOS和安卓,软件基本免费,内部部分项目需要付费。这款软件能够让用户从五官、轮廓、发型、体型上设计3D角色,角色完成后,用户能够把造型导出至“VroidHub”、“HoloModels”平台,以便在做视频时使用。
此外,该软件亦提供AR功能,可以让用户自己制作的角色“召唤”至现实当中。
Mirrativ
由同名公司推出的直播平台,支持IOS和安卓。这款软件中有个名为“emomo”(エモモ)的功能,即能够扮演虚拟主播来直播的功能。Emomo提供了3D角色设计服务,能够更换脸部、发型、服装和背景。
Emomo最大的特点是不用摄像头来捕捉用户动作,而是仅靠麦克风来工作,因此角色的口型多半是迟钝的,不过用户就不用担心自己的脸被拍到的风险。虚拟角色的动作完全靠收集到的声音来自动完成,若用户在做游戏直播,角色也会自动摆出玩游戏的姿势,十分方便。
Puppemoji(パペ文字)
是由ViRD推出的视频拍摄、直播软件,仅支持IOS,软件为免费。这款软件提供AR功能,可以在拍摄自己的时候换脸来达到虚拟效果,也可以直接使用虚拟角色。背景可以是真实背景,也可以换成虚拟背景。此外,声音也能通过变声器来改变。
软件需要用到摄像头和麦克风,直播能够通过YouTube等服务实现。虚拟角色可以从Live2D Euclid中导入。
REALITY
由WrightFlyer Live Entertainment推出的一款虚拟主播专用直播手机软件,支持IOS和安卓,软件基本免费,内部部分项目需要付费。这款软件也是一站式提供角色造型设计和直播服务,软件原先只提供直播视听功能,所以不需要使用外部直播平台服务。
REALITY能够从眼睛、头发、服饰等方面设计角色,软件需要用到摄像头和麦克风,对于用户的动作捕捉较为灵敏,能够捕捉脸部表情和上半身。
SHOWROOM V
由SHOWROOM推出的手机直播软件,仅支持IOS,软件为免费。这款软件不提供捏人功能,角色可以从VRoid Hub导入。用户若要直播,还需要下载“SHOWROOM”APP,一起运行。
通过5月30日的更新后,软件支持距离和手势的捕捉和反映。不过,SHOWROOM V的功能较少,角色模型也不太精致。软件需要使用摄像头和麦克风。
topia
由UNBEREAL推出的手机直播软件,支持IOS和安卓,软件基本免费,内部部分项目需要付费。这款软件主打三头身Q版3D角色造型,用户可以从角色的体型、发型、脸部和服饰等方面进行设计。
软件自带直播平台,所以不需要使用其他直播平台的服务。软件需要使用摄像头和麦克风,脸部捕捉较为灵敏,口型能够对得上,呈现效果也较为理想。
中之人LIVE(ナカノヒトライブ)
DeNA推出的虚拟特化型直播软件,仅支持iOS,软件基本免费,内部部分项目需要付费。这款软件的角色造型能从性别、脸型、眼睛、发型、服装等多方面进行设计。软件自带直播平台,可做节目也可观看。
软件需要使用摄像头和麦克风,可识别头部动作和脸部表情。该软件还有一个卖点是“除了主播是虚拟的,连观众也能以虚拟的姿态和主播交流”。
2.【个人电脑】
由于电脑的直播工具有很多,如OBS(OpenBroadcaster Software)等,各个直播平台也有各自的方式,所以在这里就不介绍直播相关的软件了。以下主要介绍能够使用电脑操作的3D角色设计软件,不过其中也有提供角色扮演功能的,如3tene和V-Katsu。
3tene
由PLUSPLUS推出的虚拟偶像相关软件,软件支持导入造型,也支持录影功能。软件普通版免费,升级版“3tenePro”、“3tenePro+Live2D”需要购买。3tene的操作界面简洁,功能齐全,除了导入角色以外,还能添加各种动作和特效,背景也能随意更换。
录影方面,该软件支持网络摄像头,官方推荐使用“LeapMotion”体感控制器,LeapMotion能够实现虚拟角色的手指关节也动起来。
V-Katsu
由IVR推出的虚拟主播支持服务,目前推出了PC、IOS、安卓版本,在角色设计上,PC版的选项和可玩性要比手机版复杂。不过,手机版能够在设计完角色后直接通过Mirrativ来做直播。此外,手机版还有AR功能,以利用摄像头来使虚拟角色出现在现实中。还有一点值得一提的是,PC版和手机版的角色数据能够共享使用。下面具体来说PC版。
V-Katsu的使用方法较为简单,并且设计出来的模型也比较精致好看,因此受到了不少3D角色制作者的青睐。V-Katsu能让用户从脸部、头发、体型、服饰、背景等方面进行设计,其可选项十分丰富。做好的角色造型能够导出“VRM”格式,并且能够在“VisualCast”和“niconi立体”平台上使用。虽然软件使用大体免费,但在导出VRM格式时需要付费。
制作好角色模型以后,接下来可以通过头戴式VR设备或者摄像头来操控角色,由于摄像头的识别能力远不如VR设备,所以在这里更推荐使用VR设备。
VRoid Studio
这是有pixiv推出的3D角色设计工具,既然提到pixiv那就离不开绘画了,没错,这款软件最大的亮点就是以画的方式来塑造角色,所以特别推荐懂绘画的用户。即便不懂3D知识,但只要有创意,也能轻松地设计角色。绘画功夫越强,设计出来的角色也就越精致。
当然,软件中并不是所有项目都需要画出来,许多部分也是能够自动生成。此外,软件导出的格式为VRM,并且角色能够商用。
Cecil变身应用
这是是由Vtuber铃木塞西尔做的3D角色设计软件,软件可以在作者的Fantia账号下免费下载。因为软件不是大公司出品,所以操作界面也较为简陋,不过在角色设计的选项上还是十分丰富的,操作上比较容易上手。
设计好的角色能够导出VRM格式,并且能够商用。为了强化模型在VR平台“cluster”上对应功能,软件开发作者还发起众筹活动,目标为募集100万日元。
第二条线路就有点难了,也叫技术宅线,这条线路并不适合新手小白使用,所以看不懂的可以跳过这一部分来看最后一段推荐的直播配件。
——————分割线——————
转载至使用 Vive 和 VRM 打造 VTuber - 冯侃的文章 - 知乎
https://zhuanlan.zhihu.com/p/75708331
想了想这条线路还是用 HTC Vive 和 VRM 打造一个简单的 Vtuber 系统更为直白简单一点,这样各位技术宅就不用费太多脑子了,当然更难的自由性更高的我这里也可以再单独发一章供大家学习。
当然这篇文章写的够详细简单了,本人也与上个一样要到了转载权,各位请放心阅读。
VRM 是专注于人型的 3D 文件格式。与 FBX 等 3D 格式最大的不同,在于 VRM 统一了各模型的坐标系、骨骼、表情等信息,使得模型使用起来更加方便,模型间的互换性也更好。除此之外,VRM 还提供了 Toon Shader,弹簧骨骼以及碰撞等组件,大大提高了开发效率。
入手 3D 模型无非两种方式,制作以及下载。VRM 自从 2018 年诞生以来,已经出现了很多支持其格式的制作软件,比如 Pixiv 的 VRoid Studio,ILLUSION 子公司 IVR 出品的 V-Katsu 等,在此不多介绍。
这里我们使用的是Windows电脑系统,希望注意。
而网上下载 VRM,最主要的渠道是日本视频网站 niconico 的子站 niconisolid,它也是 MMD 模型的下载大本营。
当然入手了模型是远远不够的,这里介绍几个插件FinalIK 1.8
SteamVR 2.3.2
UniVRM 0.53.0
UniVRM 是 VRM 的 Unity 插件,支持 VRM 格式的读取与导出。
OVRLipSync 1.38.0
这里我们将使用 OVRLipSync 实现 VTuber 的口型同步。
使用模型
这次我们将使用 niconisolid 的官方角色 AliciaSolid。
找到网站的模型下载专区后点击页面右侧红框中的黑色按钮下载。
在这之后会出现使用协议。继续点击左侧蓝色的按钮,同意并下载。
解压下载的文件,可以在其中找到 AliciaSolid.vrm,这就是我们这次使用的模型了。
入手了插件和 VRM 模型之后,让我们动手吧。
1. 导入插件,初始化 SteamVR
首先新建一个 Unity 项目。我们这次使用的 Unity 版本是 2018.3。其他版本应该也没问题。
新建项目后拖入以上诸插件。
之后点击 Window 菜单中的 SteamVR Input 项。
Unity 会弹出几个对话框,点击 Yes 通过。
在最后的这个对话框里点击 Save and generate 即可。
2. 导入模型
在 Assets 中建立一个 Alicia 的目录,将之前下载 AliciaSolid.vrm 拖入其中。UniVRM 会自动对其进行解析。
之后将 SteamVR> Prefabs 中的 [CameraRig] 以及 Alicia 目录中的 AliciaSolid prefab 拖入 Hierarchy,重置 Transform,确保它们处在原点的位置。
3. 设置 FinalIK
接下去我们将设置 FinalIK,使得 AliciaSolid 能够跟随我们的头显以及手柄移动并作出相应的姿势。
在 [CameraRig] 的两个 Contoller 以及 Camera 下分别新建 Empty Object,命名为 TargetLeftHand,TargetRightHand 以及 TargetHead。
在 AliciaSolid 的 Inspector 中 Add Component,在其中搜索 VRIK,并选中。
点开 Solver 中的 Spine,Left Arm 以及 Right Arm。在 Target 中选中我们刚才新建的各个 Empty Object。
带上 HMD 点击运行,我们会发现人物模型已经会跟随我们身体动起来了。
可惜,就像上图右下角显示的那样,我们现在只能通过 HMD 看到头部内侧,接下去就让我们借助 VRM 来解决这个问题。
4. 第一人称时隐藏部分模型
首先我们在 Edit 菜单中打开 Project Settings,在其中的 Tags and Layer 中添加两个 Layer,分别是 Layer 9 的 FIRSTPERSON_ONLY_LAYER 和 Layer 10 的THIRDPERSON_ONLY_LAYER。
这两个层由 VRM 使用,用来确定模型的哪些部分仅在第一人称时显示,哪些部分仅在第三人称时显示。
然后,我们选中 [CameraRig] 中的 Camera,在 Culling Mask 中,取消 THIRDPERSON_ONLY_LAYER。这样我们 VR 中的摄像机,也就是 HMD,将不显示被选为 THIRDPERSON_ONLY_LAYER 的物体。
打开 AliciaSolid 的 mesh,我们可以看到模型的各个组成部分。其中的 face 是我们需要隐藏起来的。当然你也可以根据需要修改头发,服饰等。
在 AliciaSolid 的 VRM First Person 组件中,打开 Renderers,我们可以发现对于 mesh 的每个部分,都有 Auto、Both 等选项。我们将 face 后面的选项改为 Third Person Only,其他保持不变。这样就设置了 face 仅在第三人称时显示。当我们带着头显,也就是处于第一人称时,face 就隐藏起来了。
模型、摄像机都设置好了,但是我们还需要一段代码的帮忙。在 AliciaSolid 中添加一个名为 VRMFirstPersonSetup 的组件,添加以下代码。
using System.Collections;
using System.Collections.Generic;
using UnityEngine;
using VRM;
public class VRMFirstPersonSetup : MonoBehaviour
{
VRMFirstPerson m_firstPerson;
// Start is called before the first frame update
void Start()
{
m_firstPerson = GameObject.FindObjectOfType();
m_firstPerson.Setup();
}
}
这回再运行一下,低头看看是不是可以看到自己身体了呢?
5. 改善手部扭曲
可惜的是,看清楚身体后,我们就会发现手部有些扭曲,原因是我们用来作为 IK 目标的 GameObject 和 AliciaSolid 手部骨骼的 Transform 不一致。
好在我们只需将左右手的 Target 分别调整到以下数值即可(个人手打的)。
左手数值————
position X-0.03 Y-0.02 Z-0.12
Rotaion X-60 Y-0 Z90
Scale X-1 Y-1 Z-1
右手数值————
position X-0.03 Y-0.02 Z-0.12
Rotaion X-60 Y-0 Z—90
Scale X-1 Y-1 Z-1
再带上头显,就会看到扭曲已经有所改善。
如果你发现手里捏着两个 Vive Controller 挺出戏的,可以将左右手 Controller 下 Model 前的勾点去。
再低头,就只会看到虚拟人物的双手啦。
6. 场景中添加镜子
为了让我们在 VR 中也能看清自己,我们需要添加一面镜子。在那之前,我们先让 Game 视图能够显示 Main Camera 的图像。
调整场景中 Main Camera 的位置,使其对准 AliciaSolid。之后将其 Camera 组件中的 Depth 修改为 1,Target Eye 选为 None。这样,Main Camera 中的内容,将被作为当前最高优先级,输出到 Game 视图。
然后我们开始添加镜子。
首先我们新建一个 Render Texture,将其命名为 MirrorTexture。修改大小为 1920 * 1080,其他属性不变。
我们再新建一个 Material,命名为 MirrorMaterial,将其 Shader 修改为 Unlit/Texture,并且选中刚才的 MirrorTexture。
我们在场景中复制 Main Camera,将新生成的 Camera 改名为 Mirror Camera。这个 Mirror Camera 负责将图像输出到指定的 Texture,最终在场景中显示出来。
选中这个 Mirror Camera,在 Target Texture 中,选择我们建立好的 Mirror Texture。
最后,我们在场景中新建一个 Quad,调整到合适的位置和角度,并且将 Mirror Material 拖动到其中。
这样我们就可以在 VR 中面对镜子进行表演啦。
7. 眨眼
之前提到过,VRM 提供了统一的表情支持,选中 AliciaSolid.BlendShapes 中的 BlendShape,可以看到模型自带的 AIUEO 等口型以及 Blink,Joy 等 VRM 默认表情。
当然除了这些 VRM 的默认表情,也可以添加自己需要的 BlendShape,这次就先略过了。
我们这次将利用 VRM 的 blinker 组件实现眨眼。在 AliciaSolid 中 Add Component,然后搜索 blinker。
选中之后,我们会发现它已经自动识别出 AliciaSolid 的 BlendShape。该组件还提供了一些可配置的数值,比如眨眼间隔、眼睛闭上的时间长短等等。在此我们就用默认的数值吧。
添加完 blinker 组件,你会发现我们的 Alicia 已经会眨眼了。
8. 口型
在 Oculus> LipSync> Prefabs 中,选中 LipSyncInterface 拖入场景中。
之后在 AliciaSolid 中添加 OVR Lip Sync Context 以及 OVR Lip Sync Mic Input 两个组件。
这两个组件,将负责将话筒中的语音转换为口型数值。不过由于我们使用的是 VRM 的 BlendShape,我们还需要做一次转换,将 Oculus 的口型数值,转为 VRM 可读的数据。
在 AliciaSolid 中新建一个名为 VRMLipSyncContextMorphTarget 的组件,添加以下代码。
using System;
using System.Collections;
using System.Collections.Generic;
using UnityEngine;
using VRM;
public class VRMLipSyncContextMorphTarget : MonoBehaviour
{
OVRLipSyncContextBase lipsyncContext;
VRMBlendShapeProxy proxy;
int[] VisemeToBlendTargets = { -1,4,4,5,3,3,3,3,-1,3,2,5,3,6,4 };
// Start is called before the first frame update
void Start()
{
lipsyncC GetComponent();
proxy = GetComponent();
}
void LateUpdate()
{
OVRLipSync.Frame frame = lipsyncContext.GetCurrentPhonemeFrame();
if (frame != null)
{
for (int i = 1; i
{
if (VisemeToBlendTargets[i] != -1)
{
}
}
}
}
}
带上 HMD 试着说话,你会发现镜子中的 Alicia 的嘴已经会跟着语音做出响应的口型了。
9. 绿幕
到这里,我们今天要实现的功能已经基本完成。当然 Unity 自带的天球有些乏味,我们来添加一个绿幕,以便后期合成。
选中 Main Camera,修改 Clear Flags 为 Solid Color,并且将 Background 修改为绿色。
设置后,在 Game 视图中,就可以实现绿幕效果了。使用录屏软件将 Game 视图中的图像截取为视频,再合成个背景,你就能成为一名 VTuber 啦。
————————分割线————————
论外:网络摄像头
以下是需要使用到网络摄像头的软件和工具,它们提供面部捕捉功能来实现角色扮演,以便让用户进行直播和录制视频。
FaceVTuber
FaceVTuber是一款只要有网络摄像头就能简单控制3D模型的网页工具,即只需要打开浏览器和网络摄像头即可。这款工具操作简单,只需要连接好摄像头以后,点击“Start”、“Set”按钮,就可以通过摄像头捕捉脸部表情,以操纵3D角色。
该工具可以导入MMD、FBX、VRM格式的模型数据,不仅能支持PC,智能手机也能够使用。
FaceRig
FaceRig是Holotech Studios推出的脸部识别软件,早在2015年就登陆Steam。通过使用网络摄像头来操控3DCG角色和2D角色。使用色度键合成后,就能够像虚拟主播一样做直播节目。
该软件需要付费,软件的不同DLC也有不同的价格。FaceRig不提供捏人功能,只提供仅有的少量角色选择,但用户能在Steam的创意工坊里下载更多的角色。FaceRig的操作界面简单明了,而且捕捉功能灵敏,受到不少网友的欢迎。
Hitogata
Hitogata由mogg个人开发的简易脸部识别软件,仅支持PC。这款软件比FaceVTuber的捕捉范围更广一些,它能够解析脸部表情(嘴部、眉毛、眨眼)和上半身动作,若配套使用身体捕捉工具“PerceptionNeuron”的话还能够支持解析全身动作。关于口型的呈现,除了能用摄像头识别以外,还能够通过麦克风声音大小来控制。
在虚拟角色塑造上,该软件亦支持脸部、发型、服装等方面的设置。此外,软件也支持FBX、VRM格式文件的导入。
VR头戴式设备
VR头戴式设备比网络摄像头的捕捉范围更加大和精准,虚拟角色的动作流畅性也会大大提高,而且有了VR设备就不需要摄像头了,除去了真人露脸的风险。下面介绍两款需要VR头戴式设备使用的服务。
Virtual Cast
Virtual Cast是由运营niconico的dowango和infiniteloop共同推出的VR直播交流服务。该服务需要的硬件有VR设备(如HTCVIVE、Oculus Rift、Windows Mixed Reality)、个人电脑,软件需要SteamVR和VirtualCast。该服务能够让用户戴上VR设备后自由操纵角色,并且用户能够用VR手柄来设置角色表情等选项。
Virtual Cast支持在niconico直播、YouTube等平台做直播节目。此外,该服务还有一个名为“凸”(乱入)的亮点功能,即乱入到其他虚拟主播的空间中,一起交流互动。
由于这是dowango旗下的产品,所以角色使用方面也需要对应自家的模型投稿共享服务“niconi立体”。
CUSTOM ORDER MAID 3D2
CUSTOM ORDER MAID 3D2是KISS推出的面向成人(18R)的游戏软件,需要付费。这款软件的功能十分丰富,在塑造角色方面,从脸部到身体、服装,捏角色的选项很多,不过只能捏女性角色。在操控角色的时候,利用VR手柄,能够改变背景、视角等选项。
软件支持的VR设备有OculusRift、HTC VIVE。此外,软件亦支持色度键合成,让背景设定成电脑画面,这样就能够做游戏直播了。