서로 다른 여러 종류의 데이터를 동시에 이해하고 처리하는 능력을 연구합니다. 이 분야에서는 이미지, 텍스트, 음성, 비디오 등 다양한 형태의 데이터를 함께 사용하여, 각각의 데이터가 제공하는 고유한 정보를 최대한 활용하는 데 중점을 둡니다.

예를 들어, 이미지와 텍스트를 동시에 이해해 주제별로 대규모 데이터베이스를 구축하거나,
언어 모델을 TTS 기술에 결합해 의미와 맥락에 적절한 음성을 생성하는 연구가 이에 포함됩니다.
특히 KRAFTON AI는 게임 플레이 중 실시간으로 비디오, 유저의 음성, 텍스트 등 다양한 모달리티를 이해하고, 플레이어와 음성으로 대화하며 게임을 함께 플레이할 수 있는 멀티모달 모델 개발을 목표로 합니다.

이처럼 우리는 딥러닝을 더 이상 개별 분야에 한정하지 않고, 기술을 통합적으로 적용하여 복잡하고 도전적인 문제를 해결하고자 합니다. KRAFTON AI가 추구하는 인간과의 몰입형 상호작용을 실현하기 위해서는 모든 인공지능 기술이 유기적으로 융합되어야 합니다.

에이전트가 환경과의 상호작용을 통해 최적의 행동 전략(정책)을 학습하는 기술을 연구합니다.
‘게임 제작의 명가’를 추구하는 크래프톤에서 게임에 적용할 수 있는 직접적인 딥러닝 기술이기도 합니다.
예를 들면, 게임 플레이에 중요한 룰과 방법을 학습시켜 유저와 경쟁하게 할 수도 있고 게임 기획시 테스트 봇으로 사용할 수도 있습니다.

강화학습의 발전은 AI가 인간과 같이 복잡한 문제를 해결하는 데 필요한 학습 및 의사결정 능력을 갖추게 하여 인간과의 상호작용을 하는데 있어 중요한 역할을 담당할 것입니다.

게임 개발에 필요한 다양한 비주얼 및 오디오 에셋 생성을 자동화하고 고도화하기 위한 Generative AI 기술을 연구하고 있습니다.

예를 들면, 2D 이미지로부터 3D 형태를 추론하고 모델링하는 기술, 사람의 동작이 담긴 비디오를 해석해 대상 캐릭터에 맞게 재현하는 Video-to-Motion 기술, 입력한 텍스트를 감정과 억양이 풍부한 음성으로 변환하는 Text-to-Speech 기술, 한 사람의 목소리를 다른 목소리로 자연스럽게 바꾸는 Voice Conversion 등의 기술이 있습니다.

KRAFTON AI는 이와 같은 Generative AI 기술을 기반으로, 몰입도 높은 게임 경험과 제작 효율성의 극대화를 동시에 달성하고자 합니다.

모델의 성능 향상을 위해 주로 데이터의 질과 관련된 요소에 초점을 맞춥니다. 이 분야에서는 Data collection, Processing, Labeling, Augmentation 등과 같은 데이터 관리 전략을 연구하며, 이는 고품질의 데이터셋을 구축하는 데 중요한 역할을 합니다.

예를 들면, 같은 성능 수치를 달성하면서도 더 적은 양의 데이터를 수집할 수 있을지 혹은 성능 수치 향상을 위해선 어떤 측면에서 더 나은 데이터를 필요로 하는지 등의 연구가 있습니다.

딥러닝 기반의 데이터 중심 연구는 AI 모델이 더욱 정확하고 강력한 예측을 할 수 있도록 합니다. 이 분야의 발전은 AI의 신뢰성과 공정성을 향상시키는데 기여하며, 연구 조직의 장기적인 방향성과 토대를 마련하는 데에 매우 중요합니다.