Исследователи из Стэнфордского университета, лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института и лаборатории искусственного интеллекта Autodesk совместно разработали новую систему машинного обучения, которая может интерпретировать 2D инструкции для создания 3D объектов.
Сеть MEPNet была протестирована на сгенерированных компьютером наборах Lego, реальных инструкциях к наборам Lego и воксельных строительных планах в стиле Minecraft, и, по словам исследователей, она превзошла существующие методы по всем параметрам.
Интерпретация двухмерных инструкций — непростая задача для искусственного интеллекта. По словам исследователей, базовые кирпичики Lego часто собираются в сложные формы, прежде чем их добавляют к основной части модели. Это «повышает сложность интерпретации машинами руководств по Lego: требуется умозаключение о трехмерных позах невидимых объектов, состоящих из видимых примитивов», — говорят исследователи.
Начиная с 3D-модели компонентов, текущего состояния набора Lego и 2D-изображений, полученных вручную, MEPNet «предсказывает набор 2D-ключевых точек и масок для каждого компонента», — пишут исследователи. После этого 2D ключевые точки «проецируются обратно в 3D путем поиска возможных связей между базовой формой и новыми компонентами». Эта комбинация «сохраняет эффективность моделей, основанных на обучении, и лучше обобщает их на невидимые 3D-компоненты», — пишет команда.
Исследователи разместили свой код в открытом доступе.
