[LabSeminar] RigNet : Neural Rigging for Articulated Charaters

논문 원본
projectPage

1. Introduction

Animation가능한 Avatar에는 3가지 요소가 필요함.

1. 3차원 모델의 표면을 표현해줄 3Dmesh
2. 움직임을 만들어줄 뼈대 (rig)
3. mesh가 뼈대를 따라 어느부위가 얼만큼 움직일지에 대한 정보 (skin weights)

RigNet은 3D매쉬(.obj)를 Rigged model(.fbx)를 만들어주는 네트워크임

2. Method

1. Joints를 얻고
2. Bones를 얻고
3. Skining Weights를 얻음

1. Get joints

• GMEdgeNet을 이용하여 3D메쉬의 버텍스들이 관절이 있을 법한 곳으로 옮김.
• GMEdgeNet을 이용하여 3D메쉬의 버텍스들중 관절이 있을 법한 곳을 attention함
• 두 정보를 이용하여 clustering을 해서 joints들의 위치를 찾음

2. Get Bones

• BoneNet을 이용해 두 joints 간의 연결 확률을 구함.
• RootNet을 이용해 Rig의 최상단 노드를 구함
• 이를 합쳐 Skeleton을 완성함

3. Get Skining Weights

• GMEdgeNet을 이용해 각 본들의 위치에 따른 Mesh의 Skining weights을 찾음

(3. Train)

3. Result

1. 사용한 Dataset : ModelsResource-RigNetv1

• 중복된 케릭터 모델, 재 리깅된 모델은 제거하였음
• 1,000 ~ 5,000개의 vertex
• 관절의 개수 : 3~48개, 평균 25개

2. 평가 방법

• 정량적 평가
  • skeleton평가
    • CD-J2J
    • CD-J2B
    • CD-B2B
    • IoU
    • Precision
    • Recall
  • skining 평가
    • Precision
    • Recall
    • L1-norm
    • Dist
• 모듈들 간의 평가