[R data.table] 여러개의 변수를 처리하는 data.table의 특수 부호 .SD, .SDcols

지난번 포스팅에서는 R data.table의 DT[i, j, by] 에서 by 구문을 사용하여 "그룹별 집계" 하는 방법을 소개하였습니다. 

Base R만 쓰다가 몇 년 전에 처음으로 dplyr 의 chaining 형태의 구문을 봤을 때 '이게 R 맞나?' 갸우뚱 했었는데요, data.table 의 .N, .SD, .SDcols 등의 특수 부호가 포함된 data.table의 구문을 처음으로 봤을 때 역시나 '이게 R 맞나? 무슨 언어지?' 하고 의아해했었고 또 낯설기에 거부감도 들었습니다. 하지만 지난 포스팅에 이어 이번 포스팅까지 보고 나면 data.table에 대해 한결 친숙하게 느껴지실 거예요.  

이번 포스팅에서는 data.table 에서만 볼 수 있는 특수 부호로서 여러개의 칼럼을 처리할 때 사용하는 .SD, .SDcols  특수 부호의 기능과 사용법을 소개하겠습니다. 

(1) data.table .SD 특수 부호를 사용하여 여러개의 모든 칼럼 처리하기

(2) data.table .SDcols 특수 부호를 사용하여 특정 다수의 칼럼을 지정하여 처리하기

(3) data.table .SD, .SDcols 와 lapply 함수를 사용하여 여러개의 숫자형 변수를 표준화하기

     (How to standardize or transform the multiple numeric columns using .SD, .SDcols, lapply in R data.table?)

하는 방법을 소개하겠습니다. 

먼저, 예제로 사용할 1개의 문자형 변수와 3개의 숫자형 변수로 구성된 간단한 data.table 을 만들어보겠습니다. 

library(data.table) library(dplyr) grp <- c(rep('F', 5), rep('B', 3), rep('A', 2)) x1 <- c(1:10) x2 <- seq(from = 11, to = 29, by = 2) x3 <- seq(from = 30, to = 59, by = 3) DT <- data.table(grp, x1, x2, x3) > print(DT)     grp x1 x2 x3  1:   F  1 11 30  2:   F  2 13 33  3:   F  3 15 36  4:   F  4 17 39  5:   F  5 19 42  6:   B  6 21 45  7:   B  7 23 48  8:   B  8 25 51  9:   A  9 27 54 10:   A 10 29 57

(1) data.table .SD 특수 부호를 사용하여 여러개의 모든 칼럼 처리하기

data.table 의 .SD 는 'Subset of Data' 의 첫머리 글자를 따서 만든 특수 부호로서, 그룹 칼럼(by grouping columns)을 제외한 모든 칼럼을 대상으로 연산을 수행할 때 사용합니다. 

아래 예에서는 'grp' 칼럼 ('F' 5행, 'B' 3행, 'A' 2행) 의 그룹을 기준으로 모든 변수(.SD)를 출력 (print(.SD))한 예입니다. 

# Special symbol .SD : Subset of Data # It by itself is a data.table that holds the data for the current group defined using by. # .SD contains all the columns except the grouping columns by default. > DT[, print(.SD), by = grp]    x1 x2 x3 1:  1 11 30 2:  2 13 33 3:  3 15 36 4:  4 17 39 5:  5 19 42    x1 x2 x3 1:  6 21 45 2:  7 23 48 3:  8 25 51    x1 x2 x3 1:  9 27 54 2: 10 29 57 Empty data.table (0 rows and 1 cols): grp

'grp' 그룹 별(by = grp)로 모든 변수(.SD)에 대해 요약통계량(summary statistics)을 계산하려면 R lapply(var_name, function) 함수를 적용해주면 됩니다. 

DT data.table 데이터셋에 대해 'grp' 그룹 별로 모든 변수에 대해 최소값(min), 최대값(max), 표준편차(standard deviation), 평균(mean) 을 계산하시오. 

> # To compute on (multiple) columns,  > # we can then simply use the base R function lapply(). > DT[, lapply(.SD, min), by = grp]    grp x1 x2 x3 1:   F  1 11 30 2:   B  6 21 45 3:   A  9 27 54 >  > DT[, lapply(.SD, max), by = grp]    grp x1 x2 x3 1:   F  5 19 42 2:   B  8 25 51 3:   A 10 29 57 >  > DT[, lapply(.SD, sd), by = grp]    grp        x1       x2       x3 1:   F 1.5811388 3.162278 4.743416 2:   B 1.0000000 2.000000 3.000000 3:   A 0.7071068 1.414214 2.121320 >  > DT[, lapply(.SD, mean), by = grp]    grp  x1 x2   x3 1:   F 3.0 15 36.0 2:   B 7.0 23 48.0 3:   A 9.5 28 55.5

그룹별로 통계량을 계산하는 'grp' 변수를 기준으로 정렬하려면 아래의 두가지 방법을 사용합니다. 

• DT[, lapply(.SD, mean), by = grp][order(grp)]
• DT[, lapply(.SD, mean), keyby = grp]

> # ordering group column using 'keyby' > DT[, lapply(.SD, mean), keyby = grp]    grp  x1 x2   x3 1:   A 9.5 28 55.5 2:   B 7.0 23 48.0 3:   F 3.0 15 36.0

위와 동일한 결과를 얻기 위해서 dplyr 로는 아래처럼 대상이 되는 숫자형 변수를 summarise_at(vars(x1:x3), mean) 혹은 summarise_at(c("x1", "x2", "x3"), mean, na.rm = T) 처럼 변수 이름을 써줘야 합니다. 변수 개수가 많을 수록 일일이 써주기가 번거로울 수 있습니다. 반면 data.table 은 .SD 특수부호로 모든 변수를 가져올 수 있으니 편리합니다. 

> # by dplyr > library(dplyr) > DT %>%  +   group_by(grp) %>%  +   summarise_at(vars(x1:x3), mean, na.rm = T) # A tibble: 3 x 4   grp      x1    x2    x3   <chr> <dbl> <dbl> <dbl> 1 A       9.5    28  55.5 2 B       7      23  48   3 F       3      15  36

(2) data.table .SDcols 특수 부호를 사용하여 특정 다수의 칼럼을 지정하여 처리하기

data.table에서 다수의 특정 칼럼을 지정하고 싶으면 DT[i, j, by, .SDcols] 구문에서 by 다음에 .SDcols = c(var1, var2, ...) 처럼 .SDcols 매개변수를 사용합니다. 즉, .SDcols = c("x1", "x2") 로 "x1", "x2" 의 특정한 두 개 변수로만 지정을 하고, lapply(.SD, mean) 에서 .SD 로 .SDcols에서 특정한 칼럼 내에서의 모든 칼럼(즉, "x1", "x2")에 대해서 평균을 구하게 됩니다. 

DT data.table에서 ("A", "B") 그룹에 속하는 관측치에 한해, "x1", "x2" 칼럼에 대해서만 'grp' 그룹별(by = grp)로 각 변수별 평균(lapply(.SD, mean))을 구하시오.

# .SDcols # to specify just the columns we want to compute the mean() on using .SDcols. DT[grp %in% c("A", "B"),    # subset of ("A", "B") in grp    lapply(.SD, mean),       # compute the mean for multiple columns except grp. col.    by = grp,             # by 'grp' groups, orginal order    .SDcols = c("x1", "x2")] # for just those specified in .SDcols [Out]    grp  x1 x2 1:   B 7.0 23 2:   A 9.5 28

(3) data.table .SD, .SDcols 와 lapply 함수를 사용하여 여러개의 숫자형 변수를 표준화       (How to standardize or transform the multiple numeric columns using .SD, .SDcols, lapply in R data.table?)

만약 여러개의 숫자형 변수 모두를 한꺼번에 z-표준화(z = (x - mean) / std_dev)를 하고 싶다면 for loop 반복문을 사용하는 대신에 R lapply(변수, 함수) 를 사용하면 쉽고 깔끔하게 코드를 짤 수 있습니다. 

DT data.table 의 숫자형 변수인 ("x1", "x2", "x3") 특정 변수(.SDcols)들 모두에(.SD) 대해서 한꺼번에 표준화(standardization)를 하시오.  

> # Standardization of all numeric columns > DT_scaled <- DT[, lapply(.SD, scale), .SDcols = c("x1", "x2", "x3")] > print(DT_scaled)          x1.V1      x2.V1      x3.V1  1: -1.4863011 -1.4863011 -1.4863011  2: -1.1560120 -1.1560120 -1.1560120  3: -0.8257228 -0.8257228 -0.8257228  4: -0.4954337 -0.4954337 -0.4954337  5: -0.1651446 -0.1651446 -0.1651446  6:  0.1651446  0.1651446  0.1651446  7:  0.4954337  0.4954337  0.4954337  8:  0.8257228  0.8257228  0.8257228  9:  1.1560120  1.1560120  1.1560120 10:  1.4863011  1.4863011  1.4863011

위의 실행 결과는 결과값의 변수 이름이 "x1.V1", "x2.V1", "x3.V1" 으로 나와서 마음에 안드네요. 이번에는  ':=' 특수 부호를 사용하여 새로운 변수 이름을 부여(set new column names)해 보겠습니다. data.table 만의 특수 부호인 '.SD', '.SDcols', ':=' 가 총 출동해서 정신이 없네요. 허허.. ^^;;;

DT data.table 의 숫자형 변수인 ("x1", "x2", "x3") 특정 변수(.SDcols)들 모두에(.SD) 대해서 한꺼번에 표준화(standardization)를 하여 DT data.table에 ("scaled_x1", "scaled_x2", "scaled_x3") 라는 새로운 이름의 변수를 추가하시오. 

> # Standardization of all numeric columns with new column names > num_vars <- c('x1', 'x2', 'x3') > new_num_vars <- paste0('scaled_', num_vars) >  > # In data.table, the := operator and all the set* (e.g., setkey, setorder, setnames etc..) functions  > # are the only ones which modify the input object by reference > DT_scaled_2 <- DT[, (new_num_vars) := lapply(.SD, scale), .SDcols = num_vars] > print(DT_scaled_2)     grp x1 x2 x3  scaled_x1  scaled_x2  scaled_x3  1:   F  1 11 30 -1.4863011 -1.4863011 -1.4863011  2:   F  2 13 33 -1.1560120 -1.1560120 -1.1560120  3:   F  3 15 36 -0.8257228 -0.8257228 -0.8257228  4:   F  4 17 39 -0.4954337 -0.4954337 -0.4954337  5:   F  5 19 42 -0.1651446 -0.1651446 -0.1651446  6:   B  6 21 45  0.1651446  0.1651446  0.1651446  7:   B  7 23 48  0.4954337  0.4954337  0.4954337  8:   B  8 25 51  0.8257228  0.8257228  0.8257228  9:   A  9 27 54  1.1560120  1.1560120  1.1560120 10:   A 10 29 57  1.4863011  1.4863011  1.4863011

물론, Base R에서 사용하는 apply(dataset, 2 for col, function) 의 구문으로 각 칼럼별 평균과 표준편차를 구해서 별도의 객체로 저장을 해놓고, t(apply(dataset, 1 for row, function(x) {transformation_function} 의 형태로 데이터를 변환할 수도 있습니다. 위의 예제 코드보다 조금 복잡하기는 하지만 function(x){custom_function} 부분에 custom function 도 넣을 수 있고 해서 유연하게 쓸 수 있으므로 알아두면 좋겠습니다. 아래에서 t() 는 전치(transpose) 하라는 뜻입니다. 

> # -- standardization using apply() and function() > #-- mean by columns > num_vars_mean <- apply(DT[, .(x1, x2, x3)], 2, mean) > print(num_vars_mean)   x1   x2   x3   5.5 20.0 43.5  >  > # sd by columns > num_vars_sd <- apply(DT[, .(x1, x2, x3)], 2, sd) > print(num_vars_sd)       x1       x2       x3  3.027650 6.055301 9.082951  >  > t(apply(DT[, 2:4], 1, function(x){ +   (x - num_vars_mean) / num_vars_sd}) + )               x1         x2         x3  [1,] -1.4863011 -1.4863011 -1.4863011  [2,] -1.1560120 -1.1560120 -1.1560120  [3,] -0.8257228 -0.8257228 -0.8257228  [4,] -0.4954337 -0.4954337 -0.4954337  [5,] -0.1651446 -0.1651446 -0.1651446  [6,]  0.1651446  0.1651446  0.1651446  [7,]  0.4954337  0.4954337  0.4954337  [8,]  0.8257228  0.8257228  0.8257228  [9,]  1.1560120  1.1560120  1.1560120 [10,]  1.4863011  1.4863011  1.4863011

아래 예제는 여러개의 모든 숫자형 변수의 최대값과 최소값을 계산하여 객체로 저장해놓고, apply() 함수로 [0-1] 변환을 해보았습니다. 

> # [0-1] transformation using apply() and function() > # max and min for each columns > num_vars_max <- apply(DT[, .(x1, x2, x3)], 2, max) > num_vars_min <- apply(DT[, .(x1, x2, x3)], 2, min) >  > # [0-1] transformation > t(apply(DT[, 2:4], 1, function(x){ +   (x - num_vars_min) / (num_vars_max - num_vars_min)}) + )              x1        x2        x3  [1,] 0.0000000 0.0000000 0.0000000  [2,] 0.1111111 0.1111111 0.1111111  [3,] 0.2222222 0.2222222 0.2222222  [4,] 0.3333333 0.3333333 0.3333333  [5,] 0.4444444 0.4444444 0.4444444  [6,] 0.5555556 0.5555556 0.5555556  [7,] 0.6666667 0.6666667 0.6666667  [8,] 0.7777778 0.7777778 0.7777778  [9,] 0.8888889 0.8888889 0.8888889 [10,] 1.0000000 1.0000000 1.0000000

[Reference]

* https://cran.r-project.org/web/packages/data.table/vignettes/datatable-intro.html

많은 도움이 되었기를 바랍니다. 

이번 포스팅이 도움이 되었다면 아래의 '공감~'를 꾹 눌러주세요. :-)