[Python pandas] 한개의 문자열 칼럼을 구분자로 나누어서 여러개의 칼럼을 가진 DataFrame 만들기
Python 분석과 프로그래밍/Python 데이터 전처리 2019. 8. 25. 19:26이번 포스팅에서는 구분자(delimiter, separator)를 포함한 문자열 칼럼을 구분자를 기준으로 여러개의 칼럼으로 나누어서 DataFrame을 만드는 방법을 소개하겠습니다.
그리고 PoestgreSQL, Greenplum DB에서도 구분자를 포함한 칼럼을 구분자를 기준으로 여러개의 칼럼으로 나누는 방법도 이어서 소개하겠습니다.
(1) pandas DataFrame 내 문자열 칼럼을 구분자로 분리하여 여러개의 칼럼 만들기 |
먼저 간단한 예를 들기 위해 ':' 구분자(delimiter, separator)를 가진 'col' 이라는 이름의 칼럼을 가진 pandas DataFrame을 만들어보겠습니다.
import pandas as pd df = pd.DataFrame({'col': ['a:1:20.3:S', 'b:2:10.5:C', 'c:3:51.9:A']}) df
|
이제 원래의 'df' 라는 이름의 DataFrame 에 'col'변수를 그대로 둔 채로, ':' 구분자를 기준으로 'col' 문자열 칼럼을 분리(split) 하여 'group', 'id', 'value', 'grade' 라는 새로운 4개의 칼럼을 생성하여 추가해보겠습니다. split() 문자열 메소드는 split(separator, maxsplit) 의 형식으로 사용합니다.
df[['group', 'id', 'value', 'grade']] = pd.DataFrame(df.col.str.split(':', 3).tolist()) df
|
원래의 'col' 이름의 칼럼이 필요 없을 경우 원래의 DataFrame을 덮어쓰거나, 아니면 'col'을 포함하지 않는 새로운 DataFrame을 만들어주면 됩니다.
df2 = pd.DataFrame(df.col.str.split(':', 3).tolist(), columns = ['group', 'id', 'value', 'grade']) df2
|
문자열(string)을 분리(split)해서 만든 새로운 칼럼들은 전부 문자열(string) 데이터 형식입니다. 이중에서 'id'와 'value' 칼럼을 숫자형(numeric)으로 변경하는 방법은 https://rfriend.tistory.com/470 포스팅을 참고하세요.
df2.dtypes group object id object value object grade object dtype: object
|
(2) PostgreSQL, GPDB에서 문자열 칼럼을 구분자로 분리하여 여러개 칼럼 만들기 |
PostgreSQL, Greenplum DB에서는 split_part(string_column, separator, field_number) 의 형식으로 문자열 칼럼을 나눌 수 있습니다.
위의 Python pandas DataFrame에서 사용했던 것과 동일한 예제 Table을 만들어서, 'col' 문자열 칼럼을 'group', 'id', value', 'grade'의 4개의 문자열(string)을 가진 새로운 Table을 만들어보겠습니다.
-- make a table DROP TABLE IF EXISTS grp_val_grade; CREATE TABLE grp_val_grade ( col varchar(100) NOT NULL ); INSERT INTO grp_val_grade VALUES ('a:1:20.3:S'); INSERT INTO grp_val_grade VALUES('b:2:10.5:C'); INSERT INTO grp_val_grade VALUES('c:3:51.9:A'); SELECT * FROM grp_val_grade; |
다음으로 split_part(string_column, separator, field_number) 함수를 사용해서 문자열 칼럼을 ':' 구분자를 기준으로 나누어서 새로운 칼럼을 만들어보겠습니다.
-- split a column by delimeter and make 4 columns DROP TABLE IF EXISTS grp_val_grade2; CREATE TABLE grp_val_grade2 AS ( SELECT col , split_part(col, ':', 1) AS group , split_part(col, ':', 2) AS id , split_part(col, ':', 3) AS value , split_part(col, ':', 4) AS grade FROM grp_val_grade ); SELECT * FROM grp_val_grade2; |
많은 도움이 되었기를 바랍니다.
이번 포스팅이 도움이 되었다면 아래의 '공감~
'를 꾹 눌러주세요. :-)
