游戏引擎最初的开发目的是为娱乐构建虚构的世界。但是，这些相同的引擎可用于构建真实环境的副本，即数字双胞胎。大阪大学的研究人员找到了一种方法，可以使用数字城市双胞胎自动生成的图像来训练深度学习模型，该模型可以有效地分析真实城市的图像并准确区分出现在其中的建筑物。
卷积神经网络是一种深度学习神经网络，设计用于处理结构化数据数组，例如图像。深度学习的这些进步从根本上改变了执行任务的方式，比如架构分割。然而，一个准确的深度卷积神经网络(DCNN)模型需要大量标记的训练数据，并且标记这些数据可能是一项缓慢且极其昂贵的手动工作。
为了创建合成数字城市双胞胎数据，研究人员使用了PLATEAU平台的3D城市模型，该平台包含大多数城市的3D模型，具有极高的细节水平。他们将此模型加载到Unity游戏引擎中，并在虚拟汽车上创建了一个摄像头设置，该虚拟汽车在城市周围行驶并获取各种光照和天气条件下的虚拟数据图像。然后使用GoogleMapsAPI获取同一研究区域的真实街道图像以进行实验。
研究人员发现，数字城市双胞胎数据比没有真实世界对应物的纯虚拟数据产生更好的结果。此外，将合成数据添加到真实数据集可以提高分割准确性。然而，最重要的是，研究人员发现，当数字城市孪生合成数据集中包含一定比例的真实数据时，DCNN的分割精度显着提高。事实上，它的性能与在100%真实数据上训练的DCNN相比具有竞争力。
“这些结果表明，我们提出的合成数据集可能会取代训练集中的所有真实图像，”该论文的通讯作者TomohiroFukuda说。
自动分离出现在图像中的单个建筑立面对于施工管理和建筑设计、改造和能源分析的大规模测量，甚至可视化已拆除的建筑立面都很有用。该系统在多个城市进行了测试，证明了拟议框架的可转移性。真实和合成数据的混合数据集为大多数现代建筑风格产生了有希望的预测结果。这使其成为未来为建筑分割任务训练DCNN的一种很有前途的方法——无需昂贵的手动数据注释。
