cvt_labelmap.py

Go to the documentation of this file.

import copy
 
#초기 레이블맵, 21년도 제작 데이터, 서현호 소장님 업무 참조
labelmap_v10={
    0 : 'walk',
    1 : 'stand',
    2 : 'sit-Crouch',
    3 : 'sit-sofa',
    4 : 'sit-chair',
    5 : 'sit-floor',
    6 : 'falling-falling',
    7 : 'lie',
    8 : 'punch',
    9 : 'kick',
    10 : 'falling-fight',
    11 : 'plunging',
    12 : 'sit',
    13 : 'falling'    
}
 
#22년 레이블 맵, 행동 시나리오 확장
labelmap_v20={
    0:     "없음",
    1:     "앉기-바닥",
    2:     "앉기-의자",
    3:     "구부리기",
    4:     "걷기-혼자",
    5:     "걷기-잡고",
    6:     "걷기-앉은상태",
    7:     "걷기-계단오르기",
    8:     "걷기-계단내려가기",
    9:     "뛰기-달리기", 
    10:    "뛰기-외발뛰기",
    11:    "뛰기-갤로핑",
    12:    "뛰기-게걸음",
    13:    "일어서기-스스로",
    14:    "일어서기-짚고",
    15:    "눕기",
    16:    "눕기-업드려 머리들기",
    17:    "뒤집기-시도",
    18:    "뒤집기-성공",
    19:    "뒤집기-굴러가기",
    20:    "기어가기-무릎기기",
    21:    "기어가기-배밀이",
    22:    "기어가기-계단기기",
    23:    "기어오르기", 
    24:    "점프-제자리",
    25:    "점프-두발",
    26:    "잡기",
    27:    "끼적이기",
    28:    "빨기-손",
    29:    "빨기-놀잇감",
    30:    "안기-안겨있기",
    31:    "안기-안고있기",
    32:    "빼앗기",
    33:    "먹기-스스로",
    34:    "먹기-마시기",
    35:    "먹기-받아먹기",
    36:    "먹여주기",
    37:    "넘어짐", 
    38:    "부딪힘-벽", 
    39:    "부딪힘-사람",
    40:    "할퀴기",
    41:    "물기",
    42:    "떨어짐", 
    43:    "물건 던지기",
    44:    "손으로 때리기",
    45:    "물건으로 때리기",
    46:    "발로 때리기", 
    47:    "양팔제압하기", 
    48:    "밀치기", 
    49:    "당기기", 
    50:    "옷(기저귀) 갈아입기", 
    51:    "쓰다듬기", 
    52:    "토닥이기", 
    53:    "머리 따주기", 
    54:    "영유아를 들어서 옮기기", 
    55:    "물건 건네주기", 
    56:    "물건 받기", 
    57:    "사진찍기"
}
 
#레이블맵 v10을 simple_lablemap으로 변환하는 맵, [클래스번호, 클래스명, 변환 라벨]
cvt_labelmap_v10_action_to_simple_ver=[
    [0 , 'walk', 6],
    [1 , 'stand', 4],
    [2 , 'sit-Crouch', 2],
    [3 , 'sit-sofa', 1],
    [4 , 'sit-chair', 1],
    [5 , 'sit-floor', 0],
    [6 , 'falling-falling', 14],
    [7 , 'lie', 9],
    [8 , 'punch', 15],
    [9 , 'kick', 16],
    [10 , 'falling-fight', 14],
]
 
#간소화 레이블
simple_lablemap={
    0 : "sit",#"앉기",
    1 : "sit_chair",
    2 : "sit_squat",
    3 : "sit_move", #앉은상태로 이동
    4 : "standing",#"서있기",
    5 : "bend_over",#허리숙이기
    6 : "walk",#"걷기",
    7 : "run",#"뛰기",
    #8 : "run_galloping", #갤로핑
    8 : "stand",#"일어서기",
    9 : "lying",#"누워있기",
    10 : "crawl",#"기어가기",
    11 : "crawl_pose",#"기어가기 자세",
    12 : "jump",#"점프",
    13 : "eating",#"먹기",
    14 : "fall-down",#"넘어짐", "떨어짐"    
    15 : "punch", #"펀치"
    16 : "kick", #"발차기",
    #18 : "scrawl", #"끼적이기"
}
 
#v21 어노테이션 버전의 action 라벨을 simple_lablemap으로 변환하는 테이블
cvt_labelmap_v21_action_to_simple_ver=[
    [0,     "없음", None],
    [1,     "앉기-바닥",None],
    [2,     "앉기-의자",None],
    [3,     "구부리기",None],
    [4,     "걷기-혼자",6],
    [5,     "걷기-잡고",6],
    [6,     "걷기-앉은상태",3],
    [7,     "걷기-계단오르기",6],
    [8,     "걷기-계단내려가기",6],
    [9,     "뛰기-달리기", 7],
    [10,    "뛰기-외발뛰기", 7],
    [11,    "뛰기-갤로핑", None],
    [12,    "뛰기-게걸음", None],
    [13,    "일어서기-스스로", 8],
    [14,    "일어서기-짚고", 8],
    [15,    "눕기", 9],
    [16,    "눕기-업드려 머리들기",9],
    [17,    "뒤집기-시도", 9],
    [18,    "뒤집기-성공", 9],
    [19,    "뒤집기-굴러가기", 9],
    [20,    "기어가기-무릎기기", 10],
    [21,    "기어가기-배밀이", None],
    [22,    "기어가기-계단기기", 10],
    [23,    "기어오르기", None],
    [24,    "점프-제자리", 12],
    [25,    "점프-두발", 12],
    [26,    "잡기", None],
    [27,    "끼적이기", None],
    [28,    "빨기-손", 13],
    [29,    "빨기-놀잇감", 13],
    [30,    "안기-안겨있기", None],
    [31,    "안기-안고있기", None],
    [32,    "빼앗기", None],
    [33,    "먹기-스스로", 13],
    [34,    "먹기-마시기", 13],
    [35,    "먹기-받아먹기", None],
    [36,    "먹여주기", None],
    [37,    "넘어짐", 14],
    [38,    "부딪힘-벽", None],
    [39,    "부딪힘-사람", None],
    [40,    "할퀴기", None],
    [41,    "물기", None],
    [42,    "떨어짐", None],
    [43,    "물건 던지기", None],
    [44,    "손으로 때리기", 15],
    [45,    "물건으로 때리기", 15],
    [46,    "발로 때리기", 16],
    [47,    "양팔제압하기", None],
    [48,    "밀치기", None],
    [49,    "당기기", None],
    [50,    "옷(기저귀) 갈아입기", None],
    [51,    "쓰다듬기", None],
    [52,    "토닥이기", None],
    [53,    "머리 따주기", None],
    [54,    "영유아를 들어서 옮기기", None],
    [55,    "물건 건네주기", None],
    [56,    "물건 받기", None],
    [57,    "사진찍기", None],
    [58,    "식별불가", -1]
]
 
#v21 어노테이션 버전의 foot 라벨을 simple_lablemap으로 변환하는 테이블
cvt_labelmap_v21_foot_to_simple_ver=[
    [0,     "없음", None],
    [1,     "이동-느리게",6],
    [2,     "이동-빠르게",7],
    [3,     "이동-물건 위로",None],
    [4,     "이동-계단 오르기",None],
    [5,     "이동-계산 내려가기",None],
]
 
#v21 어노테이션 버전의 pose 라벨을 simple_lablemap으로 변환하는 테이블
cvt_labelmap_v21_pose_to_simple_ver=[
    [0, "앉기-바닥", 0],
    [1, "앉기-의자", 1],
    [2, "앉기-무릎꿇기", 0],
    [3, "앉기-무릎서기", 4],
    [4, "앉기-쪼그리기", 2],
    [5, "서있기", 4],
    [6, "서있기-한발들기", 4],
    [7, "서있기-무릎구부리기", 4],
    [8, "서있기-허리구부리기", 5],
    [9, "누워있기-천장보고", 9],
    [10, "누워있기-엎드리기", 9],
    [11, "누워있기-옆으로", 9],
    [12, "누워있기-엎드려 머리들기", 9],
    [13, "누워있기-구부리기", 9],
    [14, "무릎기기 자세", 11]
]
 
#상호행동의 간소화 레이블맵
simple_mutual_labelmap={
    0 : "None",
    1 : "안기",
    2 : "옷 갈아입히기(서서)",
    3 : "옷 갈아입히기(눕혀서)",
    4 : "쓰다듬기",
    5 : "토닥이기",
    6 : "머리따주기",
    7 : "먹여주기",
    8 : "물건 전달",
    9 : "밀기",
    10 : "당기기",
    11 : "부딪힘",
    12 : "손으로 때리기",
    13 : "발로 때리기",
    14 : "물기"
}
 
#상호행동 레이블맵
mutual_action_lablemap={
    0 : "None",
    1 : "안겨있기", #
    2 : "안고있기", #
    3 : "영유아를 들어서 이동", #
    4 : "옷(기저귀) 갈아입히기", #
    5 : "쓰다듬기", #
    6 : "토닥이기", #
    7 : "머리따주기",
    8 : "먹여주기", #
    9 : "물건 건네주기", #
    10 : "물건 받기", #
    11 : "장난감 빼앗기",
    12 : "손으로 때리기",
    13 : "물건으로 때리기",
    14 : "발로 때리기",
    15 : "신체 밀치기", #
    16 : "신체 당기기", #
    17 : "친구와 부딪힘",
    18 : "할퀴기",
    19 : "물기"
}
 
 
cvt_labelmap_v21_action_to_simple_ver2=[
    [0,     "없음", None],
    [1,     "앉기-바닥",None],
    [2,     "앉기-의자",None],
    [3,     "구부리기",None],
    [4,     "걷기-혼자",1],
    [5,     "걷기-잡고",1],
    [6,     "걷기-앉은상태",None],
    [7,     "걷기-계단오르기",1],
    [8,     "걷기-계단내려가기",1],
    [9,     "뛰기-달리기", 2],
    [10,    "뛰기-외발뛰기", 2],
    [11,    "뛰기-갤로핑", None],
    [12,    "뛰기-게걸음", None],
    [13,    "일어서기-스스로", None],
    [14,    "일어서기-짚고", None],
    [15,    "눕기", None],
    [16,    "눕기-업드려 머리들기",None],
    [17,    "뒤집기-시도", None],
    [18,    "뒤집기-성공", None],
    [19,    "뒤집기-굴러가기", None],
    [20,    "기어가기-무릎기기", 3],
    [21,    "기어가기-배밀이", None],
    [22,    "기어가기-계단기기", 3],
    [23,    "기어오르기", None],
    [24,    "점프-제자리", 4],
    [25,    "점프-두발", 4],
    [26,    "잡기", None],
    [27,    "끼적이기", None],
    [28,    "빨기-손", 5],
    [29,    "빨기-놀잇감", 5],
    [30,    "안기-안겨있기", None],
    [31,    "안기-안고있기", None],
    [32,    "빼앗기", None],
    [33,    "먹기-스스로", 5],
    [34,    "먹기-마시기", 5],
    [35,    "먹기-받아먹기", None],
    [36,    "먹여주기", None],
    [37,    "넘어짐", 6],
    [38,    "부딪힘-벽", None],
    [39,    "부딪힘-사람", None],
    [40,    "할퀴기", None],
    [41,    "물기", None],
    [42,    "떨어짐", None],
    [43,    "물건 던지기", None],
    [44,    "손으로 때리기", 7],
    [45,    "물건으로 때리기", 7],
    [46,    "발로 때리기", 8],
    [47,    "양팔제압하기", None],
    [48,    "밀치기", None],
    [49,    "당기기", None],
    [50,    "옷(기저귀) 갈아입기", None],
    [51,    "쓰다듬기", None],
    [52,    "토닥이기", None],
    [53,    "머리 따주기", None],
    [54,    "영유아를 들어서 옮기기", None],
    [55,    "물건 건네주기", None],
    [56,    "물건 받기", None],
    [57,    "사진찍기", None],
    [58,    "식별불가", None]
]
 
cvt_labelmap_v21_pose_to_simple_ver2=[
    [0, "앉기-바닥", 0],
    [1, "앉기-의자", 0],
    [2, "앉기-무릎꿇기", 0],
    [3, "앉기-무릎서기", 1],
    [4, "앉기-쪼그리기", 0],
    [5, "서있기", 1],
    [6, "서있기-한발들기", 1],
    [7, "서있기-무릎구부리기", 1],
    [8, "서있기-허리구부리기", 1],
    [9, "누워있기-천장보고", 2],
    [10, "누워있기-엎드리기", 2],
    [11, "누워있기-옆으로", 2],
    [12, "누워있기-엎드려 머리들기", 2],
    [13, "누워있기-구부리기", 2],
    [14, "무릎기기 자세", 3]
]
 
simple_lablemap_action={
    0 : "None",
    1 : "walk",
    2 : "run",
    3 : "crawl", 
    4 : "jump",
    5 : "eat",
    6 : "fall-down",
    7 : "punch",
    8 : "kick", 
}
 
simple_lablemap_pose={
    0 : "sit",
    1 : "standing",
    2 : "lying",
    3 : "crawl_pose"
}
 
 
cvt_labelmap_v22_action_upper=[
    #idx, name, cvt_label, min_clip_len, use_margin, check_train_frame
    [0, "없음", 0, 0, False],
    [1, "허리 구부리기", 1, 0, True],
    [2, "허리 펴기", 2, 0, True],
    [3, "먹기", -1, 0, True],
    [4, "펀치", 3, 0, True],
    [5, "휘두르기", -1, 0, True],
    [6, "손흔들기", 4, 0, True],
    [7, "가리키기", 5, 0, True],
    [8, "밀치기", 3, 0, True],
    [9, "끼적이기", -1, 0, True],
    [10, "기타", -1, 0, True],
]
 
simple_labelmap_v22_action_upper = [
    [0, "없음"],
    [1, "허리 구부리기"],
    [2, "허리 펴기"],
    [3, "펀치"],
    [4, "손흔들기"],
    [5, "가리키기"]
]
 
cvt_labelmap_v22_action_lower=[
    [0, "없음", 0, 0, False],
    [1, "앉기", 1, 0, True],
    [2, "일어서기", 2, 0, True],
    [3, "서성이기", 3, 50, True],
    [4, "걷기", 4, 50, True],
    [5, "달리기", 5, 15, True],     #
    [6, "기어가기", 6, 20, True],   #
    [7, "점프-제자리", 7, 0, True], #
    [8, "넘어짐", 8, 0, True],
    [9, "떨어짐", -1, 0, True],
    [10, "킥", 9, 0, True],      #
    [11, "턴", 10, 0, True],
    [12, "점프-두발", 11, 0, True], #
    [13, "기타", -1, 0, False], #
]
 
simple_labelmap_v22_action_lower = [
    [0, "없음"],
    [1, "앉기"],
    [2, "일어서기"],
    [3, "서성이기"],
    [4, "걷기"],
    [5, "달리기"],
    [6, "기어가기"],
    [7, "점프-제자리"],
    [8, "넘어짐"],
    [9, "킥"],
    [10, "턴"],
    [11, "점프-두발"],
]
 
 
# cvt_labelmap_v22_action_pose=[
#     [0, "앉기-바닥", 0, 10, False],
#     [1, "앉기-의자", 1, 10, False],
#     [2, "앉기-무릎꿇기", -1, 10, False],
#     [3, "앉기-무릎서기", -1, 10, False],
#     [4, "앉기-쪼그리기", 2, 10, False],
#     [5, "서있기", 3, 10, False],
#     [6, "서있기-한발들기", 3, 10, False],
#     [7, "서있기-허리구부리기", 4, 10, False],
#     [8, "스쿼트-허리세우기", 5, 10, False],
#     [9, "스쿼트-허리구부리기", 5, 10, False],
#     [10, "누워있기-천장보고", 6, 10, False],
#     [11, "누워있기-엎드리기", 6, 10, False],
#     [12, "누워있기-옆으로", 6, 10, False],
#     [13, "무릎기기 자세", 7, 10, False],
#     [14, "앉기-한쪽무릎굽히기", -1, 10, False],
#     [15, "식별불가", -1, 10, False]
# ]
 
# simple_labelmap_v22_pose = [
#     [0, "앉기-바닥"],
#     [1, "앉기-의자"],
#     [2, "앉기-쪼그리기"],
#     [3, "서있기"],
#     [4, "서있기-허리구부리기"],
#     [5, "스쿼트"],
#     [6, "누워있기"],
#     [7, "무릎기기 자세"],
# ]
 
pose_min_clip_range = 15
cvt_labelmap_v22_action_pose=[
    [0, "앉기-바닥", 0, pose_min_clip_range, False],
    [1, "앉기-의자", 1, pose_min_clip_range, False],
    [2, "앉기-무릎꿇기", 2, pose_min_clip_range, False],
    [3, "앉기-무릎서기", 3, pose_min_clip_range, False],
    [4, "앉기-쪼그리기", -1, pose_min_clip_range, False],
    [5, "서있기", 4, pose_min_clip_range, False],
    [6, "서있기-한발들기", 4, pose_min_clip_range, False],
    [7, "서있기-허리구부리기", 5, pose_min_clip_range, False],
    [8, "스쿼트-허리세우기", -1, pose_min_clip_range, False],
    [9, "스쿼트-허리구부리기", -1, pose_min_clip_range, False],
    [10, "누워있기-천장보고", 6, pose_min_clip_range, False],
    [11, "누워있기-엎드리기", 6, pose_min_clip_range, False],
    [12, "누워있기-옆으로", 6, pose_min_clip_range, False],
    [13, "무릎기기 자세", 7, pose_min_clip_range, False],
    [14, "앉기-한쪽무릎굽히기", -1, pose_min_clip_range, False],
    [15, "식별불가", -1, pose_min_clip_range, False]
]
 
simple_labelmap_v22_pose = [
    [0, "앉기"],
    [1, "앉기-의자"],
    [2, "앉기-무릎꿇기"],
    [3, "앉기-무릎서기"],
    [4, "서있기"],
    [5, "서있기-허리구부리기"],
    [6, "누워있기"],
    [7, "무릎기기 자세"],
]
 
cvt_labelmap_v22_action_hand=[
    [0, "없음", 0, pose_min_clip_range, False],
    [1, "팔짱끼기", 1, pose_min_clip_range, False],
    [2, "가리키기", 2, pose_min_clip_range, False],
    [3, "기타", -1, pose_min_clip_range, False],
    [4, "양팔들기", 3, pose_min_clip_range, False],
]
 
simple_labelmap_v22_hand = [
    [0, "없음"],
    [1, "팔짱끼기"],
    [2, "가리키기"],
    [3, "양팔들기"],
]
 
cvt_labelmap_v22_action_foot=[
    [0, "없음", 0, pose_min_clip_range, False],
    [1, "다리꼬기", 1, pose_min_clip_range, False],
    [2, "기타", -1, pose_min_clip_range, False],
]
 
simple_labelmap_v22_foot = [
    [0, "없음"],
    [1, "다리꼬기"],
]
 
cvt_labelmap_v22_mutual_action=[
    [0, "없음", 0],
    [1, "안겨있기", 1],
    [2, "안고있기", 2],
    [3, "영유아를 들어서 이동", 3],
    [4, "옷(기저귀) 갈아입히기", -1],
    [5, "쓰다듬기", 4],
    [6, "토닥이기", 5],
    [7, "머리따주기", -1],
    [8, "먹여주기", 6],
    [9, "물건 건네주기", -1],
    [10, "물건 받기", -1],
    [11, "장난감 빼앗기", -1],
    [12, "손으로 때리기", -1],
    [13, "물건으로 때리기", -1],
    [14, "발로 때리기", -1],
    [15, "신체 밀치기", 7],
    [16, "신체 당기기", 8],
    [17, "친구와 부딪힘", -1],
    [18, "할퀴기", -1],
    [19, "물기", -1],
    [20, "매달리기", -1],
    [21, "안고있기-토닥이기", -1]
]
 
simple_labelmap_v22_mutual_action = [
    [0, "없음", 0, False],
    [1, "안겨있기", 50, False],
    [2, "안고있기", 40, False],
    [3, "영유아를 들어서 이동", 0, False],
    [4, "쓰다듬기", 40, False],
    [5, "토닥이기", 10, True],
    [6, "먹여주기", 40, False],
    [7, "신체 밀치기", 10, True],
    [8, "신체 당기기", 50, False]
]
 
def cvt_labelmap_v21(annotations, cvt_action_info, cvt_pose_info):
    ret_annotations = copy.deepcopy(annotations)
    for i, anno in enumerate(annotations):
        action_id = anno['action_id']['action']
        new_action_id = cvt_action_info[action_id][2]
        
        if action_id == 11 or action_id == 12:
            move_id = anno['action_id']['foot']
            new_action_id = cvt_labelmap_v21_foot_to_simple_ver[move_id][2]
        elif new_action_id is None:
            pose_id = anno['action_id']['pose']
            new_action_id = cvt_pose_info[pose_id][2]
        
        if anno['truncation'] > 2 or anno['occlusion'] > 2:
            new_action_id = -1
            
        ret_annotations[i]['action_id']['action'] = new_action_id
        
    return ret_annotations
 
def cvt_labelmap_v21_pose_and_action(annotations, cvt_action_info, cvt_pose_info):
    ret_annotations = copy.deepcopy(annotations)
    for i, anno in enumerate(annotations):
        action_id = anno['action_id']['action']
        pose_id = anno['action_id']['pose']
        new_action_id = cvt_action_info[action_id][2]
        if new_action_id is None:
            new_action_id = 0
        
        new_pose_id = cvt_pose_info[pose_id][2]
            
        ret_annotations[i]['action_id']['action'] = new_action_id
        ret_annotations[i]['action_id']['pose'] = new_pose_id
        
    return ret_annotations
 
def cvt_labelmap_v22(annotations):
    ret_annotations = copy.deepcopy(annotations)
    for i, anno in enumerate(annotations):
        action_id = anno['action_id']
        upper = action_id['action_upper']
        lower = action_id['action_lower']
        pose = action_id['pose']
        hand = action_id['hand']
        foot = action_id['foot']
 
        new_upper = cvt_labelmap_v22_action_upper[upper][2]
        new_lower = cvt_labelmap_v22_action_lower[lower][2]
        new_pose = cvt_labelmap_v22_action_pose[pose][2]
        new_hand = cvt_labelmap_v22_action_hand[hand][2]
        new_foot = cvt_labelmap_v22_action_foot[foot][2]
 
        ret_annotations[i]['action_id']['action_upper'] = new_upper
        ret_annotations[i]['action_id']['action_lower'] = new_lower
        ret_annotations[i]['action_id']['pose'] = new_pose
        ret_annotations[i]['action_id']['hand'] = new_hand
        ret_annotations[i]['action_id']['foot'] = new_foot
    
    return ret_annotations
 
 
def cvt_labelmap_v10_pkl(pkl_data, cvt_action_info):
    ret_pkl = copy.deepcopy(pkl_data)
    for i, anno in enumerate(pkl_data):
        action_id = anno['label']
        new_action_id = cvt_action_info[action_id][2]
        
        ret_pkl[i]['label'] = new_action_id
        
    return ret_pkl