[R data.table] data.table 의 구문 DT[i, j, by] 에서 행 subset 과 열 select 하고 계산하기

지난번 포스팅에서는 Base R, dplyr, SQL 구문과 R data.table 의 기본구문을 비교해봄으로써 data.table 의 기본 구문이 상대적으로 간결하여 코딩을 읽고 쓰기에 좋다는 점을 소개하였습니다. 

이번 포스팅에서는 R data.table 의 기본 구문 DT[i, j, by] 에서 한걸음 더 나아가서 i 행을 선별하고 정렬하기, j 열을 선택하고 계산하기, by 그룹 별로 집계하기 등을 하는데 있어 소소한 팁을 추가로 설명하겠습니다. 

R data.table 의 기본 구문 DT[i, j, by][order]

MASS 패키지에 있는 Cars93 data.frame을 data.table로 변환하고 앞에서부터 8개 변수만 가져와서 예제로 사용하겠습니다. 

library(data.table) # getting Cars93 dataset library(MASS) DT <- as.data.table(Cars93) # convert data.frame to data.table DT <- DT[,1:8]  # use the first 8 variables > str(DT) Classes 'data.table' and 'data.frame': 93 obs. of  8 variables:  $ Manufacturer: Factor w/ 32 levels "Acura","Audi",..: 1 1 2 2 3 4 4 4 4 5 ...  $ Model       : Factor w/ 93 levels "100","190E","240",..: 49 56 9 1 6 24 54 74 73 35 ...  $ Type        : Factor w/ 6 levels "Compact","Large",..: 4 3 1 3 3 3 2 2 3 2 ...  $ Min.Price   : num  12.9 29.2 25.9 30.8 23.7 14.2 19.9 22.6 26.3 33 ...  $ Price       : num  15.9 33.9 29.1 37.7 30 15.7 20.8 23.7 26.3 34.7 ...  $ Max.Price   : num  18.8 38.7 32.3 44.6 36.2 17.3 21.7 24.9 26.3 36.3 ...  $ MPG.city    : int  25 18 20 19 22 22 19 16 19 16 ...  $ MPG.highway : int  31 25 26 26 30 31 28 25 27 25 ...  - attr(*, ".internal.selfref")=<externalptr>  > > head(DT)    Manufacturer   Model    Type Min.Price Price Max.Price MPG.city MPG.highway 1:        Acura Integra   Small      12.9  15.9      18.8       25          31 2:        Acura  Legend Midsize      29.2  33.9      38.7       18          25 3:         Audi      90 Compact      25.9  29.1      32.3       20          26 4:         Audi     100 Midsize      30.8  37.7      44.6       19          26 5:          BMW    535i Midsize      23.7  30.0      36.2       22          30 6:        Buick Century Midsize      14.2  15.7      17.3       22          31

(1) DT[i, j, by] : i 행 선별하기 (Subset rows in i)

DT[i, j, by] 기본 구문에서 i 행 조건문을 이용하여 [ 차종(Type)이 소형("Small")이고 & 제조사(Manufacturer)가 현대("Hyundai") 인 관측치 ] 를 선별해보겠습니다. 

> # Subset rows in i > # Get all the cars with "Small" as the Type of "Hyundai" manufacturer > # No need of prefix 'DT$' each time. > small_hyundai <- DT[Type == "Small" & Manufacturer == "Hyundai"] > > print(small_hyundai)    Manufacturer   Model  Type Min.Price Price Max.Price MPG.city MPG.highway 1:      Hyundai   Excel Small       6.8     8       9.2       29          33 2:      Hyundai Elantra Small       9.0    10      11.0       22          29

이때 Base R 대비 소소한 차이점이 있는데요, Base R에서는 dataframe_nm$variable_nm 처럼 접두사로서 원천이 되는 "dataframe_nm$" 을 명시해주는데요, data.table은 위의 예에서 처럼 DT[...] 의 [...] 안에서는 'DT$variable_nm' 처럼 'DT$' 를 명시 안해줘도 되고, 아니면 아래 예에서처럼 DT[...] 대괄호 안에서 'DT$'를 명시해줘도 됩니다. ('DT$'를 안해줘도 잘 작동하는데 굳이 'DT$' 접두사를 꼬박꼬박 붙일 이유는 없겠지요).  

> # Prefix of 'DT$' works fine.  > DT[DT$Type == "Small" & DT$Manufacturer == "Hyundai"]    Manufacturer   Model  Type Min.Price Price Max.Price MPG.city MPG.highway 1:      Hyundai   Excel Small       6.8     8       9.2       29          33 2:      Hyundai Elantra Small       9.0    10      11.0       22          29 >

Base R 과의 또 하나 차이점은 data.table의 경우 위의 예에서 처럼 i 조건절만 써주고 뒤에 '콤마(,)'를 안찍어 줘도 모든 열(all columns)을 자동으로 선택해온다는 점입니다. 물론 아래의 예와 같이 Base R 구문처럼 i 행 조건절 다음에 '콤마(,)'를 명시적으로 찍어줘서 '모든 열(all columns)을 선택'하게끔 해도 정상 작동하기는 합니다. 

> # a comma after the condition in i works fine.  > DT[Type == "Small" & Manufacturer == "Hyundai", ]    Manufacturer   Model  Type Min.Price Price Max.Price MPG.city MPG.highway 1:      Hyundai   Excel Small       6.8     8       9.2       29          33 2:      Hyundai Elantra Small       9.0    10      11.0       22          29

슬라이싱을 이용해서 [ 1번째부터 ~ 5번째 행까지의 데이터 가져오기 ] 를 할 수 있습니다. (이때 행 조건 다음에 콤마를 사용하지 않은 DT[1:5] 는 콤마(,)를 추가한 DT[1:5, ] 와 결과는 동일합니다. )

# Get the first 5 rows. DT_5 <- DT[1:5]  # = DT[1:5, ] > print(DT_5)    Manufacturer   Model    Type Min.Price Price Max.Price MPG.city MPG.highway 1:        Acura Integra   Small      12.9  15.9      18.8       25          31 2:        Acura  Legend Midsize      29.2  33.9      38.7       18          25 3:         Audi      90 Compact      25.9  29.1      32.3       20          26 4:         Audi     100 Midsize      30.8  37.7      44.6       19          26 5:          BMW    535i Midsize      23.7  30.0      36.2       22          30

이번에는 정렬을 해볼 텐데요, [ 차종(Type) 기준 오름차순으로 정렬(sorting by Type in ascending order)한 후 가격(Price) 기준으로 내림차순으로 정렬(sorting by Price in descending order)하기 ] 를 해보겠습니다. 

data.table 의 정렬은 DT[order()] 구문을 사용하는데요, 단 data.table 은 정렬을 할 때  Base R의 'order' 함수가 아니라 data.table 의 'forder()' 함수를 이용함으로써 훨씬 빠른 속도로 정렬을 수행합니다. 

오름차순(ascending order)이 기본 설정이며, 내림차순(descending order)을 하려면 변수 앞에 '마이너스(-)'를 붙여주면 됩니다. 

# Sort DT by Type in ascending order, and then by Price in descending order # using data.table's internal fast radix order 'forder()', not 'base::order'. DT_ordered <- DT[order(Type, -Price)] # '-' for descending order > head(DT_ordered)     Manufacturer  Model    Type Min.Price Price Max.Price MPG.city MPG.highway 1: Mercedes-Benz   190E Compact      29.0  31.9      34.9       20          29 2:          Audi     90 Compact      25.9  29.1      32.3       20          26 3:          Saab    900 Compact      20.3  28.7      37.1       20          26 4:         Volvo    240 Compact      21.8  22.7      23.5       21          28 5:    Volkswagen Passat Compact      17.6  20.0      22.4       21          30 6:        Subaru Legacy Compact      16.3  19.5      22.7       23          30

(2) DT[i, j, by] : j 열 선택하기 (Select column(s) in j)

열을 선택할 때는 DT[i, j, by] 에서 j 부분에 선택하려는 변수(칼럼) 이름을 넣어주면 됩니다. 이때 변수 이름만 넣어주면 결과로 벡터가 반환되며, 아니면 list(column_nm) 처럼 list() 로 싸주면 data.table 이 반환됩니다. 

• Price 변수를 선택하여 벡터로 반환하기 (Select 'Price' but return it as a Vector)

# Select columns(s) in j # Select 'Price' column with all rows but return it as a vector price_vec <- DT[, Price] > head(price_vec) [1] 15.9 33.9 29.1 37.7 30.0 15.7

• Price 변수를 선택하여 data.table로 반환하기 (Select 'Price' but return it as a Data.Table)

list(Price) 처럼 변수 이름을 list() 로 감싸주면 data.table 자료형태로 반환합니다. 

# Select 'Price' column with all rows, but return it as a 'data.table' # wrap the variables within list() # '.()' is an alias to 'list()' price_dt <- DT[, list(Price)] > head(price_dt)    Price 1:  15.9 2:  33.9 3:  29.1 4:  37.7 5:  30.0 6:  15.7

data.table 에서 .() 는 list() 와 동일하게 계산이나 수행 결과를 data.table 로 반환합니다. 많은 경우 코딩을 더 간결하게 하기 위해 list() 보다는 .() 를 더 많이 사용하는 편입니다. (반면, .() 를 처음보는 분은 '이게 도대체 무엇일까?' 하고 궁금할 것 같긴합니다.)

# '.()' is an alias to 'list()' price_dt2 <- DT[, .(Price)] # .() = list() > head(price_dt2)    Price 1:  15.9 2:  33.9 3:  29.1 4:  37.7 5:  30.0 6:  15.7

변수를 선택해 올 때 DT[, .(새로운 이름 = 원래 이름)] 형식의 구문을 사용하면 변수 이름을 다른 이름으로 변경 (rename) 할 수도 있습니다.

# Select 'Model' and 'Price' and rename them to 'model_2', 'price_2' model_price_dt2 <- DT[, .(model_2 = Model, price_2 = Price)] > head(model_price_dt2)    model_2 price_2 1: Integra    15.9 2:  Legend    33.9 3:      90    29.1 4:     100    37.7 5:    535i    30.0 6: Century    15.7

data.table의 1번째~4번째 칼럼까지를 선택해올 때는 Base R과 동일하게 DT[, 1:4] 또는 직접 칼럼 이름을 입력해서 DT[, c("Manufacturer", "Model", "Type", "Min.Price")] 의 두 가지 방법 모두 가능합니다. 

> head(DT[, 1:4])    Manufacturer   Model    Type Min.Price 1:        Acura Integra   Small      12.9 2:        Acura  Legend Midsize      29.2 3:         Audi      90 Compact      25.9 4:         Audi     100 Midsize      30.8 5:          BMW    535i Midsize      23.7 6:        Buick Century Midsize      14.2 > > head(DT[, c("Manufacturer", "Model", "Type", "Min.Price")])    Manufacturer   Model    Type Min.Price 1:        Acura Integra   Small      12.9 2:        Acura  Legend Midsize      29.2 3:         Audi      90 Compact      25.9 4:         Audi     100 Midsize      30.8 5:          BMW    535i Midsize      23.7 6:        Buick Century Midsize      14.2

(3) DT[i, j, by] : by 그룹별로 j 열을 계산하거나 실행하기                         (Compute or do in j by the group)

DT[i, j, by] 에서 j 열에 대해 by 그룹별로 함수 연산, 계산, 처리를 수행할 수 있습니다. 아래 예에서는
[ 차종(Type) 그룹 별로 가격(Price)의 평균을 구해서 data.table로 반환하기 ] 를 해보겠습니다. 

# Compute or do in j # calculate mean Price by Type > DT[, .(mean_price = mean(Price)), Type]       Type mean_price 1:   Small   10.16667 2: Midsize   27.21818 3: Compact   18.21250 4:   Large   24.30000 5:  Sporty   19.39286 6:     Van   19.10000

DT[i, j, by] 에서 i 행을 선별하고 & j 열에 대해 연산/집계를 by 그룹별로 수행하는 것을 해보겠습니다. 

이때 data.table 은 DT[i, j, by] 처럼 i, j, by 가 DT[...] 안에 모두 들어 있기 때문에 i 행 선별이나 j 열 선택이나 by 그룹별 연산을 각각 분리해서 평가하는 것이 아니라 동시에 고려하여 내부적으로 수행 최적화를 하기 때문에 속도도 빠르고 메모리 효율도 좋습니다. 

아래 예에서는 i 행 선별할 때 

  (a) 차종이 소형인 행 선별: Type == "Small"

  (b) 차종이 소형이 아닌 행 선별: Type != "Small"

  (c) 차종이 소형, 중형, 컴팩트형인 행 선별: Type %in% c("Small", "Midsize", "Compact")

처럼 조건 유형에 맞게 '==', '!=', '%in%' 등의 연산자(operator)를 사용하였습니다. 

> # Subset in i and do in j > # Because the three main components of the query (i, j and by) are together inside [...],  > # data.table can see all three and optimize the query altogether before evaluation, not each separately.  > # We are able to therefore avoid the entire subset > DT[Type == "Small", .(mean_price = mean(Price)), Type]     Type mean_price 1: Small   10.16667 >  > DT[Type != "Small", .(mean_price = mean(Price)), Type]       Type mean_price 1: Midsize   27.21818 2: Compact   18.21250 3:   Large   24.30000 4:  Sporty   19.39286 5:     Van   19.10000 >  > DT[Type %in% c("Small", "Midsize", "Compact"), .(mean_price = mean(Price)), Type]       Type mean_price 1:   Small   10.16667 2: Midsize   27.21818 3: Compact   18.21250

아래 예에서는 조건을 만족하는 관측치의 개수를 세는 두 가지 방법을 소개하겠습니다. 첫번째 방법은 length(변수이름) 을 사용해서 변수 벡터의 길이를 반환하도록 하는 방법이구요, 또다른 방법은 .N 이라는 data.table의 특수 내장변수를 사용해서 관측치 개수를 세는 방법입니다. 아래의 Q1, Q2에 대해 length()와 .N 을 사용한 방법을 차례대로 소개합니다. (역시 .N 이 더 간결하므로 많이 쓰입니다.)

[ Q1: 차종별 관측치 개수 ]

[ Q2: 차종이 소형("Small")이고 가격이 11.0 미만(Price < 11.0) 인 관측치 개수 ]

• length() 를 사용해서 관측치 개수 세기

> # How many Small cars with price less than 11.0 > DT[, .(N = length(Price)), Type]       Type  N 1:   Small 21 2: Midsize 22 3: Compact 16 4:   Large 11 5:  Sporty 14 6:     Van  9 >  >  > DT[Type == "Small" & Price < 11.0, length(Price)] [1] 14

• .N 을 이용하여 관측치 개수 세기

> # .N is a special built-in variable that holds the number of observations in the current group > DT[, .N, Type]       Type  N 1:   Small 21 2: Midsize 22 3: Compact 16 4:   Large 11 5:  Sporty 14 6:     Van  9 >  > DT[Type == "Small" & Price < 11.0, .N] [1] 14

[ Reference ]

* Introduction to R data.table: https://cran.r-project.org/web/packages/data.table/vignettes/datatable-intro.html

다음번 포스팅에서는 data.table 의 DT[i, j, by] 에서 by 구문을 사용하여 그룹별로 집계하는 방법을 소개하겠습니다. 

많은 도움이 되었기를 바랍니다. 

이번 포스팅이 도움이 되었다면 아래의 '공감~'를 꾹 눌러주세요.