[R data.table] 그룹별 관측치 개수 별로 DataTable을 구분해서 생성하기

지난번 포스팅에서는 R dplyr 패키지의 group_by(), mutate(), filter(), select() 함수를 사용해서 단위 그룹별 관측치 개수별로 DataFrame을 구분해서 생성하는 방법을 소개(https://rfriend.tistory.com/606)하였습니다.

이번 포스팅에서는 R data.table 패키지를 사용해서 동일하게 단위 그룹별 관측치 개수별로 DataTable을 구분해서 생성하는 방법을 소개하겠습니다.

(1) R data.table을 사용해서 그룹 별 관측치 개수 세기

(2) R data.table을 사용해서 그룹 별 관측치 개수 별로 data.table 구분해서 생성하기

만약 데이터셋이 대용량이라면 R dplyr 패키지를 사용하는 것보다 R data.table 패키지를 사용하는 것이 속도 면이나 메모리 효율성 면에서 유리합니다.

먼저 data.table 패키지를 불러오고, 예제로 사용할 'id' 변수를 관측치 개수를 세는 단위 기준으로 삼는 간단한 data.table을 만들어보겠습니다.

library(data.table) id <- c("A", "B", "C", "C", "D", "E", "E", "E") x1 <- c(3, 2, 1, 1, 3, 3, 2, 4) x2 <- c(60, 20, 30, 10, 70, 10, 20, 30) DT <- data.table(id, x1, x2) DT # id x1 x2 # 1:  A  3 60 # 2:  B  2 20 # 3:  C  1 30 # 4:  C  1 10 # 5:  D  3 70 # 6:  E  3 10 # 7:  E  2 20 # 8:  E  4 30

(1) R data.table을 사용해서 그룹 별 관측치 개수 세기

data.table 패키지에서 관측치 개수를 세는 것은 '.N' 매개변수를 사용하며, 그룹별 연산은 'by' 매개변수를 사용합니다. 그리고 새로운 변수를 만들어서 이름을 부여할 때는  'new_col_name := operation_method' 처럼 ':=' 로 할당을 해주면 됩니다.  

'id' 기준 그룹별로 관측치 개수를 세어서 'n' 이라는 이름으로 새로운 칼럼을 생성해보았습니다. id가 'A', 'B',  D' 는 관측치가 각 1개씩이며, 'C'는 관측치가 2개, 'E'는 관측치가 3개임을 알 수 있습니다.

## number of rows by 'id' DT[, n := .N, by = id] DT # id x1 x2 n # 1:  A  3 60 1 # 2:  B  2 20 1 # 3:  C  1 30 2 # 4:  C  1 10 2 # 5:  D  3 70 1 # 6:  E  3 10 3 # 7:  E  2 20 3 # 8:  E  4 30 3

(2) R data.table을 사용해서 그룹 별 관측치 개수 별로 data.table 구분해서 생성하기

data.table 패키지도 dplyr 처럼 코드를 연속해서 이어서 쓸 수 있습니다. 위의 (1)번에서 구한 그룹별 관측치 개수를 조건으로 해서, 관측치 개수가 1개인 데이터셋([n == 1])과, 그룹별 관측치 개수가 2개 이상인 데이터셋(n >=2])을 조건절을 이어써줘서 선별해보겠습니다.

DT[, n:=.N, by = id][n == 1,] # id x1 x2 n # 1:  A  3 60 1 # 2:  B  2 20 1 # 3:  D  3 70 1 DT[, n:=.N, by = id][n >= 2,] # id x1 x2 n # 1:  C  1 30 2 # 2:  C  1 10 2 # 3:  E  3 10 3 # 4:  E  2 20 3 # 5:  E  4 30 3

그룹별 관측치 개수를 조건절로 사용해서 원하는 그룹별 관측치별 개수 1개, 2개 이상 관측치 데이터셋을 구분하고 나면, 이제 원래 데이터셋에 있었던 칼럼인 c("id", "x1", "x2") 만 칼럼을 선택해서 가져오고 나머지는 버리도록 하겠습니다.

DT_1 = DT[, n := .N, by = id][n == 1,][, c("id", "x1", "x2")] DT_1 # id x1 x2 # 1:  A  3 60 # 2:  B  2 20 # 3:  D  3 70 DT_2 = DT[, n := .N, by = id][n >= 2,][,c("id", "x1", "x2")] DT_2 # id x1 x2 # 1:  C  1 30 # 2:  C  1 10 # 3:  E  3 10 # 4:  E  2 20 # 5:  E  4 30

이전의 dplyr 보다 data.table 패키지의 코드가 처음에는 낮설어 보일 수 있기는 합니다만, 코드의 길이나 표현이 좀더 간결하고 속도/성능도 우수하므로 사용해보시길 권해드립니다.

[Reference]

* R data.table 의 DT[i, j, by]에서 행 subset, 열 select 하고 계산하기: https://rfriend.tistory.com/566

* R data.table의 by 구문으로 그룹별 집계하기: https://rfriend.tistory.com/567

* R data.table의 Reference Semantics: https://rfriend.tistory.com/573

많은 도움이 되었기를 바랍니다.

행복한 데이터 과학자 되세요!  :-)