AR_VR_Lab 3

[Lab seminar] The graph neural network

논문원본 Franco Scarselli Marco Gori; Ah Chung Tsoi; Markus Hagenbuchner Gabriele Monfardini Introduction graph : 노드와 간선을 모아놓은 자료 구조로, 객체와 객체간의 연결 관계를 표현 할 수 있음 머신러닝에서, graph의 node를 실차원의 vector(target)로 mapping 시키는 함수를 학습시키는 것 graph응용의 종류 Graph focused 그래프 전체를 보는 응용 ex) 화학 화합물 Node focused 그래프의 노드 하나하나를 중요시 보는 응용 ex) image object detection 이전의 machine learning에서 그래프의 사용 그래프의 node정보를 벡터로 변환한 후에 사용함 -..

[LabSeminar] RigNet : Neural Rigging for Articulated Charaters

논문 원본 projectPage 1. Introduction Animation가능한 Avatar에는 3가지 요소가 필요함. 3차원 모델의 표면을 표현해줄 3Dmesh 움직임을 만들어줄 뼈대 (rig) mesh가 뼈대를 따라 어느부위가 얼만큼 움직일지에 대한 정보 (skin weights) RigNet은 3D매쉬(.obj)를 Rigged model(.fbx)를 만들어주는 네트워크임 2. Method Joints를 얻고 Bones를 얻고 Skining Weights를 얻음 1. Get joints GMEdgeNet을 이용하여 3D메쉬의 버텍스들이 관절이 있을 법한 곳으로 옮김. GMEdgeNet을 이용하여 3D메쉬의 버텍스들중 관절이 있을 법한 곳을 attention함 두 정보를 이용하여 clustering..

[view synthesis] Stereo Magnification : Learning view synthesis using multiplane images 정리

논문 원본 깃허브 홈페이지 용어 / 배경 지식 RGBA : RGB각각 3채널에 투명도를 나타내는 알파채널을 포함 Muliplane image : 2디 사진을 여러장을 겹쳐 입체적으로 보이게 한 image Plane Sweep Task 실제 카메라에 담기지 않은 시점의 view를 합성해내는 것 3D reconstruction : NeRV NerF Multiplane image : stereo Magnification, LLFF, NeX, DeepView Aproach 학습set ($I_1, I_2, I_t. c_1, c_2, c_3$) $I_2$를 Plane Sweep으로 PSV를 만듦. : ($ H * W * 3D$) Tensor Neural Net 네트워크 Input : $I_1, \hat{I_2}$을..