실시간 물리 변형을 위한 NeRF 기반 변형체 가시화 시스템

Abstract

의료 시뮬레이션에서 정밀하고 현실감 있는 변형 시뮬레이션은 교육과 수술 계획 수립에서 핵심적인 역할을 한다. 기존의 CT 기반 시스템은 내부 조직 구조를 정량적으로 표현하는 데에는 효과적이지만, 표면 구조의 시각적 실사성이 부족한 한계를 가진다. 본 연구에서는 이를 해결하기 위해, NeRF 기법을 이용하여 실제 모습을 촬영한 다시점 영상 집합으로부터 볼륨 데이터를 생성하고, 이 데이터를 물리 엔진으로 변형한 뒤, 변형 정보를 이용하여 고화질 볼륨 가시화를 수행하는 볼륨 기반의 통합 시스템을 제안한다. 특히, INGP를 사용하여 직접 촬영한 동영상으로부터 빠르게 암시적 신경 표현을 학습하고, 이를 삼차원 정규격자 형태인 명시적 볼륨 데이터로 변환하여 물리 시뮬레이션에 적용할 수 있도록 구성한다. 물리 변형은 GPU 병렬화된 체인메일 알고리즘을 통해 수행되며, INGP를 통해 학습된 밀도 값을 이용한 새로운 강성 기준 제약을 적용하여 실제 물리 변형과 유사한 시뮬레이션을 구현한다. 또한, 기존 체인메일 알고리즘에 후처리 안정화 단계를 적용하여 더욱 안정된 수렴 결과를 얻는다. 마지막으로, 병렬 리샘플링을 이용해 변형된 볼륨 데이터를 생성하고, 이를 통해 실시간 볼륨 가시화를 수행한다. 본 시스템은 기존의 단편화된 학습, 변형, 가시화 모듈들을 하나의 통합 파이프라인으로 구성함으로써, 구조적 정합성과 시각적 사실성을 동시에 확보하고자 한다.|Realistic and precise deformation simulation is essential in medical training and surgical planning. While conventional CT-based systems effectively represent internal anatomical structures quantitatively, they often lack photorealism in visualizing surface details. To overcome this limitation, we propose a unified, volume-based framework that reconstructs volumetric data from multi-view video captures using Neural Radiance Fields (NeRF), simulates physical deformations, and visualizes the results in high resolution. Our approach leverages Instant Neural Graphics Primitives (INGP) to rapidly learn an implicit neural representation from raw videos, which is then converted into an explicit volumetric grid suitable for physical simulation. The deformation process is driven by a GPU-parallelized chainmail algorithm, enhanced with a novel stiffness constraint derived from the density values obtained via INGP. This allows for physically plausible deformation using only a single parameter. Additionally, we introduce a post-processing relaxation stage to improve convergence and realism of the results. The final deformed volume is reconstructed through parallel resampling, enabling real-time rendering with high visual fidelity. By integrating data acquisition, deformation, and visualization into a single pipeline, our system ensures structural coherence and delivers a visually realistic simulation environment for interactive medical applications.