Seunghan Paek

오늘날 실내 공간 복원에는 high quality의 dense mesh만이 아니라, 사람과 프로그램이 함께 다룰 수 있는 편집 가능한 형태가 요구됩니다. 제 박사과정 연구는 그 형태로 평면도를 제시합니다.

실내 3D 복원에서 제가 주목한 문제는 크게 세 가지입니다. 표면을 얼마나 정확하고 촘촘하게 되살리는가 하는 geometric reconstruction, 복원된 공간 안의 fixture와 구조 요소를 무엇이라 부를 것인가 하는 semantic segmentation, 방의 경계와 방 사이의 연결을 어떤 compact한 구조로 인코딩할 것인가 하는 structural·topological representation. 세 가지는 각각 독립된 분야로 성숙했지만, 이들을 하나의 표현으로 엮는 문제는 여전히 열려 있습니다.

저는 이 세 정보를 함께 담을 수 있는 intermediate representation으로 vectorized floorplan을 활용했습니다. 벽과 개구부의 형상·위치 정보, fixture의 위치와 category, 방 사이의 connectivity를 하나의 2D representation에 담을 수 있고, 그대로 3D로 extrusion할 수 있기 때문입니다.

digital twin, XR 콘텐츠, robotics, physics simulation 같은 응용에서는 공간의 구조와 외관을 함께 다룰 수 있는 3D representation이 필요하고, 흔히 dense mesh가 그 역할을 맡습니다. 다만 dense mesh는 용량과 연산 비용이 크고, 무엇보다 고쳐 쓰기가 어렵습니다. 구조적으로 단순하고 semantic이 붙어 있으며 editable한 표현이 함께 필요한 이유이고, floorplan이 그 조건을 만족합니다.

지금까지 저는 두 방향을 진행했습니다. 이미 존재하는 raster floorplan을 3D로 올리는 쪽(Floorplan to 3D Model)과, floorplan이 없을 때 casual RGB 시퀀스만으로 되살리는 쪽(RGB to 3D Model)입니다. 각각 아래 두 절에서 설명합니다.

Future Direction — Closing the Loop

앞으로는 이 세 표현을 상호 검증할 수 있는 closed loop로 확장하고자 합니다. 아래 두 그림에서 아직 채워지지 않은 방향이 그 대상입니다.

이 loop가 형성되면 세 표현은 순서대로 변환되기만 하는 것이 아니라 서로를 검증하고 보완할 수 있습니다. floorplan에서 합성한 뷰가 실제 관측과 어긋나면 floorplan을 의심할 근거가 되고, 반대로 floorplan이 옳다면 부분적으로만 관측된 공간의 나머지를 채워 넣을 수 있습니다. 복원이 한 방향의 파이프라인이 아니라 관측과 reconstruction 결과가 서로를 검증할 수 있는 loop가 되는 셈입니다.

이것이 제가 이어서 풀고자 하는 문제입니다.

floorplan이 아예 없을 때, 스마트폰으로 방을 한 바퀴 찍은 casual RGB 시퀀스만으로 floorplan과 3D 모델을 함께 만드는 방법.

무엇을 목표로 했나

이전 연구가 도면이 있다는 전제 위에 서 있다면, 이쪽은 그 전제가 없을 때를 다룹니다. 많은 기존 floorplan reconstruction 방법은 LiDAR, RGB-D, 혹은 정합된 panorama처럼 구조 복원에 유리한 입력을 사용하고, 방 안의 fixture는 layout 추론 전에 제거해야 할 clutter로 취급해 왔습니다.

저는 이 두 전제를 모두 걷어내고 싶었습니다. Active depth sensing이나 panorama 정합 없이 casual하게 촬영한 RGB sequence, 그리고 fixture가 그대로 놓여 있는 실제 방. 일반적으로 고려되지 않던 정보를 활용한 3차원 모델 생성이 목표였습니다.

무엇을 했나

출발점은 관점을 뒤집는 데 있었습니다. 침대는 벽에 붙고, 소파는 벽을 등지고, 냉장고는 모서리에 들어갑니다. fixture는 임의로 놓이지 않고 건축 경계를 존중합니다. 그렇다면 fixture의 배치는 지워야 할 clutter가 아니라 벽 위치에 대한 positive evidence입니다.

게다가 이 evidence는 벽 자체의 오차와 독립적입니다. SfM point cloud는 textureless한 벽면에서 특히 sparse하고 noisy한데, fixture 표면은 텍스처가 풍부해 오히려 더 잘 복원되기 때문입니다. 가장 불안정한 곳을 가장 안정적인 증거로 보정하는 셈입니다.

파이프라인은 이렇게 구성했습니다. SAM 3의 open-vocabulary segmentation과 Depth Anything 3의 multi-view geometry로 semantic label이 붙은 dense point cloud를 만들고, 이것을 boundary candidate와 fixture cluster로 갈라 둡니다. boundary 쪽에서 CAGE로 초기 room polygon을 얻은 뒤, fixture rectangle과 opening의 위치를 근거로 그 polygon을 바로잡습니다.

특히 opening은 정의상 벽 위에만 존재하므로, 그 centerline은 벽이 지나가는 자리를 알려 주는 가장 확실한 증거가 됩니다. 이 centerline을 constrained Delaunay triangulation의 segment constraint로 넣어 평면을 원자 삼각형으로 쪼갠 뒤, 삼각형들을 region adjacency graph로 다시 묶습니다. opening에 정렬된 변만 연결에서 빠져 cut edge로 작동하므로, connected component를 세는 것만으로 room이 갈라지고 새로 생깁니다.

마지막으로 fixture를 도면 기호로 바꿔 넣습니다. SAM 3D로 mesh proxy를 만들고 top view와 side view를 orthographic으로 렌더링해 GPT-5에 넘겨 카테고리를 판정하고, mesh proxy와 카테고리를 고려한 vector icon을 생성합니다. 실루엣을 그대로 따면 같은 침대도 찍은 각도에 따라 다르게 그려지므로, 카테고리에서 출발해야 결과물이 시점별 렌더가 아니라 architectural drawing처럼 읽힙니다.

부딪힌 문제