202110-UE427版本-Ndisplay快速入门

前言：最近虚幻引擎更新到427版本，在影视方面更新了很多的重要的内容，特别是Ndisplay-LED（InVFXCamea）拍摄这一块，用官方的话说，这个版本的Ndisplay是可以用于生产的版本。更新的内容的深度和广度都很大，导致之前的低版本功能无法直接升级到427版本。下面来看一下如何使用新版本的Ndisplay功能。

一、创建工程，部署环境

选择Ndisplay模板，创建一个空的工程，如图1-1所示。

ue_ndisplay_image1

图1-1

选在并打开配置文件“NDC_Basic”，选择“Node_0(Master)”，在细节面板中更改Window的尺寸大小（根据自己显示器分辨率进行调整）；选择“VP_0”，调整投影策略“Projection Policy”，并调整视口大小。如图1-2所示。

ue_ndisplay_image2

图1-2

打开SwitchboardListener，然后再打开Switchboard，如图1-3所示。首次打开会提示安装相关环境，等待安装完毕即可。（注意）有的时候Switchboard界面弹不出来（点击任务栏图标的时候，总是出现纯白色预览缩略图，就是点出界面，这里无法好像无法截图，只能描述。应该是个bug，后面可能会修复吧），在纯白缩略图上单击右键，选择最大化即可。如图1-4所示。

ue_ndisplay_image3

图1-3

ue_ndisplay_image4

图1-4

创建配置文件：现在打开了Switchboard的监听和客户端，首次打开创建一个新的配置文件，如图1-5所示。配置文件界面如图1-6所示： (注意)ConfigPath是配置文件存储的路径，注意界面上只会显示配置文件名称，不会显示路径，初始应该是默认路径，我这里的完整路径是“D:\Program Files\Epic Games\UE_4.27\Engine\Plugins\VirtualProduction\Switchboard\Source\Switchboard\configs” Uproject和Engine DIr就常规填写项目位置和引擎位置即可。点击ok创建配置文件，如图1-5所示。

ue_ndisplay_image5

图1-5

ue_ndisplay_image6

图1-6

添加Ndisplay节点，点击“AddDevice”选择“Ndisplay”类型，在弹出来的界面上点击“Browse”，选择模板自带的配置文件。如图1-7所示。

ue_ndisplay_image7

图1-7

添加Unreal项目，用于多用户编辑，填写IP地址后点击ok，这里IP填127.0.0.1。如图1-8所示。

ue_ndisplay_image8

图1-8

点击“Settings”，在MultiUserServer一栏下，将AutoJoin勾选上。如图1-9所示

ue_ndisplay_image9

图1-9

8、首先启动Ndisplay节点，先点击链接（1），再点击启动（2）（在启动之前记得将“SteamVR”插件勾选上，不然会造成SreamVR软件的崩溃，如图1-10所示）。在启动Unreal编辑器之前，将Settings->MultiUserServe->AutoLunch勾选掉，不用启动Server服务器了（上一次启动过了）。在UnrealDevice下先点击连接（3），再点击启动（4）。如图1-11所示

ue_ndisplay_image10

图1-10

ue_ndisplay_image11

图1-11

到这里就完成了在单个机器上启动Ndisplay和多用户编辑。在编辑器中做出更改，Ndisplay视口中会发生实时的变化。

二、添加InnerVFXCamera(内视锥)

向场景中拖入一个“CineCameraActor”,并将它作为Ndis配置文件“Monitor_1Host_1Node”的子节点（我这里将Ndis配置文件改了名字）。选中CineCameraActor，在细节面板下添加一个“LiveLinkComponentController”，并在属性下指定自己的LiveLink。如图所示2-1所示

ue_ndisplay_image12

图2-1

打开Ndisplay配置文件，添加组件“ICVFXCamera”，

ue_ndisplay_image13

回到世界大纲，选中配置文件，在细节面板中指定刚才拖入的CinCameraActor即可。

ue_ndisplay_image14

关于如何使用Livelink接收数据，请参考文章“” 现在保存退出即可。根据上述步骤使用Switchboard启动，就可以根据HTCVive手柄驱动内视锥了。

LivelinkVRPN 前言：UE4-427版本在虚拟拍摄领域迎来了一次大更新，各种工具趋于完善，现场的效率越来越高，其中一项更新就是LiveLinkVRPN插件的引入，之前版本是通过在“配置文件”中读取跟踪设备数据的（例如HTC），现在可以通过这个插件直接获取数据，VRPN服务器还是要一直开着的。注意事项：（需要打开SteamVR、LivelinkVRPN插件、VRPN服务器） 427中如何使用Vive手柄进行输入在配置文件中移除了使用VRPN的输入配置，用livelike代替，使用方法：（1）、首先打开SteamVR和VRPN服务器，

ue_ndisplay_image15

（2）、打开UE4编辑器，打开livelike,如图所示添加一个Livelink源，如图所示

IPAddress – 输入IP地址（需要注意的是后面要加“:3884”端口号）

Device Name – 输入设备名称（VRPN服务器上的名称，如上图红线所示）

Subject Name–源名称（随便填写）

Type – 源类型（使用Vive的话，就选Tracker）

ue_ndisplay_image16

（3）、选择刚刚创建的Livelink源，添加一个“Pre Processors”，需要注意的是Livelink的三个轴向。如图所示：

ue_ndisplay_image17

（4）（注意）如果需要在Ndisplay模式下运行的话，需要开启“SteamVR”插件，不然使用SwitchBoard启动的时候，SteamVR会产生崩溃，导致VIVE手柄的位置信息不能进入UE。

（5）、在全部设置好后，将LiveLink设置保存为一个模板，并在项目设置中指定此模板，这样才能在下次启动工程的时候自动接收livelink数据。如图所示： ue_ndisplay_image18

IPad控制

1、首先在Content下创建“Remote Control Preset”资产，在“Miscellaneous”下找到此项，创建并命名，如图4-1所示 ue_ndisplay_image19

图4-1

2、双击打开远程控制资源类，在右上角找到“EditMode”打开编辑模式，如图4-2所示，此模式打开后，在世界大纲中选中需要被控制的Actor，选中Actor后就可以在Detail面板中看到各个属性前面有一个小眼睛，选择需要控制的属性，点击小眼睛图标即可，如图4-4所示。 ue_ndisplay_image20

图4-2

3、在图4-2上点击设置图标进入Remote Control设置页面，勾选“Auto Start Web Server”，即项目启动时运行WebServer。如图4-3所示。 ue_ndisplay_image21

图4-3

4、在Ndisplay项目中一般会控制主相机和一些环境资产，如后处理、太阳光、天光等。 ue_ndisplay_image22

图4-4 5、在图4-2右上角有个启动按钮，点击即可打开Web控制页面，在此页面可自定义布局，设计各个属性的排布，webserver自带有各种集成好的控件，直接可以拿来用，如图4-5所示。 ue_ndisplay_image23

图4-5

6、设置完毕后，即可在移动端中运行，随便找一个浏览器，将网址“http://127.0.0.1:7000/”输入到浏览器中即可运行，前提是移动端设备和服务器设备在同一个网络中，注意检查服务器的防火墙情况，一般是需要将服务器防火墙关闭的。客户端不限制平台，在安卓和苹果Ipad都是可以运行的。

TakeReconrder录制 1、在Ndisplay中录制可以从两个地方启动录制，一个是在Switchborad上，前提是需要在Switchboard上启动项目，然后将场、镜、次的名称输入，后缀会自动递增，设置完毕后，点击右上角的红色录制按钮即可，如图5-1所示（前提是需要在项目中进行一些设置，下面会讲） ue_ndisplay_image24

图5-1

2、还有一种是直接在TakeRecorder界面中进行设置录制，在编辑中按如图“5-2”所示打开takeRecorder窗口，首先选在你需要录制的Actor，如图5-2所示， ue_ndisplay_image25

图5-1

3、在Ndisplay项目录制中，需要选择主相机或者它的父类。如图5-2所示。 ue_ndisplay_image26

图5-2

4、选在好Actor后，点击右上角设置按钮进行一些必要的设置，其实只要录制Transform就可以了，其它的可以勾选掉。在Ndisplay群集节点中也没有必要将每一台客户端都录制，只需要录制触发录制的那一台机器即可。点击右上角红色录制按钮即可开始录制。 ue_ndisplay_image27

图5-3

5、录制好的文件会在content文件夹下，录制的文件是Sequence,点击打开Sequence，选中录制的Actor选择“export”就可以到处FBX了。可以在maya中预览录制的动画文件。如图5-4和图5-5所示。 ue_ndisplay_image28

图5-4

ue_ndisplay_image29

图5-5

青瞳的使用

硬件设备： 动捕摄像头若干个，扫场用的T型杆，用于定原点和正方向的L型杆（三角形状），加密狗U盘，交换机A。（在427中青瞳也是走的VRPN协议） 软件设备： 青瞳对应软件的安装包和UE的插件，还有一个License证书。（软件和硬件设备供应商都会提供）

使用步骤：

1、首先安装动捕摄像头，动捕摄像头的焦点和焦距一般由厂家设置好的，不用手动调整，安装前需要检查摄像头的前的旋转按钮是否松动，如若松动应当拧紧。将各个摄像头用网线与交换机连接起来。（注意：交换机上需要将模式调整为标椎交换，23-24网口（就是黄色字体的网口）不能使用，如图1-1所示）

ue_ndisplay_image30

如图1-1

2、接下来配置PC环境，我这里使用的是多台电脑联机渲染画面（用UE4的Ndisplay将画面投到LED上，就是最近流行的虚拟制片）。所以用到了第二台交换机B（用一台交换机也可以，由于我的电脑只有一个网口所以就使用了两个交换机）。使用交换机B将各个电脑连到同一个局域网内，再使用一根网线将两个交换机直连，这样动捕摄像头的数据就会进入主PC，主PC获取的动捕数据再传入到其他PC内。

3、配置软件环境：首先安装动捕对应的软件CMTracker（安装过程中确保加密狗插在电脑上；安装步骤如图3-1，没什么要注意的直接点下一步），安装后好会有两个程序，一个为CMTracker_Client和CMTracker_Server。然后在安装目录的Server目录下找到“CMGigEConfigurator”程序（如图3-2），运行程序后，点击ForceAll自动获取全部相机的IP（如图3-3）。最后替换License，初次使用会有两个证书先关的文件，分别为“license.au”和“license.RyArmUdp”将这两个文件放到安装目录下的Server->Licence目录下即可（如图3-4所示）。

ue_ndisplay_image31

3-1

ue_ndisplay_image32

3-2

ue_ndisplay_image33

3-3

ue_ndisplay_image34

3-2

4、系统初始化：先连接“server”， →再打开“client”。确认系统加载的相机个数是否正确，点击“相机视图”按钮。如图4-1

ue_ndisplay_image35

4-1

5、调整捕捉区域：开始调整捕捉区域，调整摄像头的方向直到能够看到捕捉区域的中心点，有时候现场太暗看不到摄像头画面，这时候可以时候用可以将T型杆或者三角形Tracker放到你要捕捉区域的中心点，这样摄像头就能够看到Tracker了，根据Tracker的位置调整捕捉区域。

6、屏蔽环境光，校准相机捕捉图像：在“追踪”栏目下点击“开始按钮”。此时“开始按钮”变成“停止按钮”，等三秒后点击“停止”按钮。然后点击文件-保存配置。如图6-1；先在“校准设置”栏目下，确认捕捉数量，再点击“开始”按钮，在追踪环境里挥动“T型杆”，让相机搜集图片。如图6-2（建议：在整个追踪环境里来回均匀的挥动“T型校准杆”，以使校准效果达到最佳）。相机图片搜集进度条加载完成后自动计算相机的相对位置。完成后保存配置。 ue_ndisplay_image36

6-1

ue_ndisplay_image37

6-2

7、设置坐标系：设置坐标系的前提条件（1）、没有设置坐标系；（2）、需要修改场景里的坐标系。修改方法：修改时，先点击“开始”按钮，然后将“L型杆”放到你定义的原点位置（系统规定：X轴为右方向，Y轴为正方向，就是短的一端朝正方向），放置好后点击“设置”按钮。保存配置。如图7-1

ue_ndisplay_image38

7-1（这张图比较清晰） 8、添加刚体“Body”：在“标记体栏”目下，先确定添加的方式为“手动”，（图标的下拉键头可改变添加方式）将要添加的body放到追踪环境里面，等到marker球比较稳定时（抖动的幅度很小），按“空格键”（PAUSE状态），框选要添加的点。然后点击“手动”，添加完成，按“空格键”继续追踪。点击”文件”，保存配置。此时需要记住刚体的ID，后面再UE中会用到。如图8-1

ue_ndisplay_image39