[Python pandas] 데이터프레임에 그룹 단위로 통계량을 집계해서 칼럼 추가하기 : df.groupby(['group']).col.transform('count')

이번 포스팅에서는 Pandas DataFrame에서 groupby() 를 사용해 그룹 단위로 요약 통계량(group-level statistics aggregation)을 집계하여 원래의 DataFrame에 transform() 함수를 사용하여 통계량 칼럼을 추가하는 방법을 소개하겠습니다. 

예제로 사용할 간단한 Pandas DataFrame을 만들어보겠습니다. 

import numpy as np  import pandas as pd  from pandas import DataFrame  df = DataFrame({'group_1': ['a', 'a', 'a', 'a', 'a',                                         'b', 'b', 'b', 'b', 'b',],                         'group_2': ['c', 'c', 'c', 'd', 'd',                                       'e', 'e', 'e', 'f', 'f'],                         'col': [1, 2, np.NaN, 4, np.NaN,                                6, 7, np.NaN, 9, 10]})    df col group_1 group_2 0 1.0 a c 1 2.0 a c 2 NaN a c 3 4.0 a d 4 NaN a d 5 6.0 b e 6 7.0 b e 7 NaN b e 8 9.0 b f 9 10.0 b f

위의 DataFrame에 대해서 

(1)  GroupBy() 로 'group_1'과 'group_2' 칼럼을 모두 적용한 그룹을 만들어서
     [그룹 ('a', 'c'), 그룹 ('a', 'd'), 그룹 ('b'e, 'e'), 그룹 ('b', 'f')]

(2) 그룹별로 transform() 함수를 사용하여 NaN이 아닌 원소의 '개수(count)', '합(sum)', '최대값(max)'을 계산하여 

(3) df의 DataFrame에 새로운 칼럼을 추가해보겠습니다. 

(a) 그룹 별 NaN이 아닌 원소의 개수 구하여 데이터프레임에 새로운 칼럼 추가하기

# 'count' grouped by (['group_1', 'group_2'])  df['count_col'] = df.groupby(['group_1', 'group_2']).col.transform('count')  df col group_1 group_2 count_col 0 1.0 a c 2.0 1 2.0 a c 2.0 2 NaN a c 2.0 3 4.0 a d 1.0 4 NaN a d 1.0 5 6.0 b e 2.0 6 7.0 b e 2.0 7 NaN b e 2.0 8 9.0 b f 2.0 9 10.0 b f 2.0

(b) 그룹 별 NaN이 아닌 원소의 합을 구하여 데이터프레임에 새로운 칼럼 추가하기

# 'sum' grouped by (['group_1', 'group_2'])  df['sum_col'] = df.groupby(['group_1', 'group_2']).col.transform('sum')  df col group_1 group_2 count_col sum_col 0 1.0 a c 2.0 3.0 1 2.0 a c 2.0 3.0 2 NaN a c 2.0 3.0 3 4.0 a d 1.0 4.0 4 NaN a d 1.0 4.0 5 6.0 b e 2.0 13.0 6 7.0 b e 2.0 13.0 7 NaN b e 2.0 13.0 8 9.0 b f 2.0 19.0 9 10.0 b f 2.0 19.0

(c) 그룹 별 NaN이 아닌 원소 중 최대값을 구하여 데이터프레임에 새로운 칼럼 추가하기

# 'max' grouped by (['group_1', 'group_2'])  df['max_col'] = df.groupby(['group_1', 'group_2']).col.transform('max')  df col group_1 group_2 count_col sum_col max_col 0 1.0 a c 2.0 3.0 2.0 1 2.0 a c 2.0 3.0 2.0 2 NaN a c 2.0 3.0 2.0 3 4.0 a d 1.0 4.0 4.0 4 NaN a d 1.0 4.0 4.0 5 6.0 b e 2.0 13.0 7.0 6 7.0 b e 2.0 13.0 7.0 7 NaN b e 2.0 13.0 7.0 8 9.0 b f 2.0 19.0 10.0 9 10.0 b f 2.0 19.0 10.0

이번 포스팅에서는 groupby() 연산자와 transform('statistics function') 함수를 사용하여 그룹별로 통계량을 계산하여 기존의 DataFrame에 새로운 그룹별 집계된 통계량을 새로운 변수로 추가하는 방법에 대해서 알아보았습니다. 

많은 도움이 되었기를 바랍니다. 

이번 포스팅이 도움이 되었다면 아래의 '공감~'를 꾹 눌러주세요. ^^