[딥러닝]3d instance segmentation via multi-task metric learning 의 논문에 있는 dir_loss 구하기

5)3d instance segmentation via multi-task metric learning 의 논문에 있는 dir_loss 구하기

 

 

목적 : semantic label은 주어져있을때 instance labeling하기

 

 

input
→Voxel Grid

output
→feature vector embedding
→direction embedding

3d 공간에 instace가 있다
→ semantic label (post-processing)/ intstance label 이 필요

→label segmentation/instance segmentation

1)network

→ input & output are equal size →using deconvolution(convolution transpose)

→diliation(팽창) to increase receptive field (access all voxel of indoor room)

2)multi-task loss function

→voxel → feature space(feature) →3d vector to every voxel(clustering)

→minimize loss function(encourage(당근)&penalization(채찍)→ weight 의 값을 조정한다.)

 

 

→feature loss(inter cluster)

 

 

weight → variance = distance =1 , regulazation =0.01 로 가정

 

 

C =the number of ground truth cluster (semantic)

Nc = the number of element in cluster c (instance)

Uc = center of cluster → mean of cluster

xi → feature vector

[x]+ = max(0,x) → hinge

δvar = xi(feature verctor) 와 Uc(클러스터중심)의 maximum 거리 → cluster 하기 위해서

2δdist = 두개의 클러스터 중심사이의 minimum거리 → 두개의 cluster 가 겹치지 않게 하는것

cluster 개수와 위치에 영향을 받기때문에 이걸론 부족

→directional loss(intra cluster)

 

 

viGT = direction vector toward to center of cluster

zi = voxel center location

zc = object center location

*prediction vector는 실제로 predict한게 아니라 랜덤한 value를 주었습니다. → 아직 학습이 돌아가지 않는 코드이기 때문

 

 

+50 → random sampling 30

-50 → random sampling 70

 

 

 

quiver 함수를 이용해서 3원 벡터그리기.

 

 

 

→ joint loss

 

 

 

→ joint loss

→ post processing(feature embedding) → mean shift & connected component