R, Python 분석과 프로그래밍의 친구 (by R Friend)

이번 포스팅에서는 리눅스 정규 표현식 (Linux Regular Expression)에 대해서 알아보겠습니다. 

정규 표현식은 데이터 검색, 복잡한 패턴 매칭을 도와주는 특별한 문자입니다. 정규표현식(regular expression)은 줄여서 'regexp' 또는 'regex' 라고도 합니다. 

정규 표현식은 리눅스 뿐만 아니라 유닉스, SQL, R, Python 등 에서도 사용할 수 있습니다. 지난번 포스팅에서 소개했던 grep 문과 함께 사용하면 정말로 강력하게 문자열 패턴 매칭, 검색을 할 수가 있습니다. 

정규 표현식(Regular expressions)에 대해서 모르는 상태에서 다른 사람이 짜놓은 정규 표현식을 처음으로 보게 되면 '에잉? 이게 뭐지? 갓난 아기가 컴퓨터 자판를 가지고 마구잡이로 장난하면서 두둘겨 놓은건가?' 이런 생각이 들겁니다.  알면 해독이 되는데요, 모르면 도통 이게 뭐에 쓰는 물건인가, 이게 프로그래밍 언어 맞나 싶게 요상하게 보이거든요. ^^;  암튼, 알아두면 문자열 패턴 매칭, 검색 시 정말 유용합니다. 

정규 표현식에는 3가지 유형이 있습니다. 

• 기본 정규 표현식 (Basic Regular Expressions)
• 간격 정규 표현식 (Interval Regular Expressions)
• 확장 정규 표현식 (Extended Regular Expression)

다음은 예제로 사용할 텍스트 문서입니다. 

먼저 기본 정규 표현식 (Basic Regular Expressions)을 예를 들어서 살펴보겠습니다. 

정규표현식은 큰 따옴표(" ")안에 매칭할 문자와 함께 사용합니다.  

1. 문자열의 처음 시작 부분 매칭: ^

참고로 -n 은 행번호를 출력하라는 뜻입니다. 

2. 문자열의 끝 부분 매칭: $

3. 점의 개수만큼 아무 문자나 대체: ...

4. * 부호 앞의 문자와 여러개 매칭 : *

5. 특수 문자와 매칭: \

6. a나 b로 시작하는 모든 행을 찾아서 출력 : ^[ab]

7. 0~9 사이 숫자로 시작하는 단어 :  ^[0-9]

8. x~z 사이 알파벳으로 끝나는 단어 : [a-e]$

다음의 예는 간격 정규 표현식(Interval Regular Expressions) 입니다.  

간격 정규 표현식은 문자열 안에서 특정 문자가 몇 번 출현 했는지를 가지고 패턴 매칭할 때 사용합니다. 

9. 앞의 문자와 'n'번 정확하게 매칭: {n}

grep -E "character"\{n} 의 형식으로 사용합니다. 

마지막으로, 확장 정규 표현식(Extended Regular Expressions) 입니다.  확장 정규 표현식은 한 개 이상의 표현식(combinations of more than one expressions)을 결합하여 사용할 수 있게 해줍니다. 

10. \+ 앞의 문자가 한번 이상 출현한 문자열과 매칭:  \+

* Reference : https://www.guru99.com/linux-regular-expressions.html

많은 도움이 되었기를 바랍니다. 

이번 포스팅에서는 Linux 위에 설치된 DB에 접속해서 분석을 하려고 했을 때 자주 사용하는 가장 기본적인 Linux Shell Script 를 소개하겠습니다. 

참고로, 저는 MacBook Pro, MacOS sierra를 사용하고 있구요, VMware에 Linux CentOS 6.6 version을 설치한 후, CentOS에 Greenplum Database 4.3.18 버전 (Master node 1, Segment node 1, Segment node 2)를 설치하여 사용하고 있습니다. 

아래의 예시는 Greenplum DB 에 연결해서 사용하는 Linux script 간단 예제가 되겠습니다. 

1. 파일 리스트 확인하기: ls

2. Terminal Console 창 지우기: clear

3. 파일의 텍스트 내용 확인하기: cat file_name

>> CentOS 버전 확인, Local Host 확인 하기: cat /etc/redhat-release, cat /etc/hosts

>> 권한 부여: chown

4. 파일을 열고 편집하기: vi

5. Greenplum Database에 연결하기: ssh user_id@ip

6. con.sh 파일에 저장해놓고 파일 실행으로 Greenplum Database에 연결하기

여러개의 DB에 바꾸어 가면서 접속해야 하는 경우 IP를 모두 외우고 일일이 치기 힘들 때 유용합니다. 아래 예제는 gpdb, gpdb2, gpdb3 의 3개 DB에 접속하기 편하도록 DB별로 alias를 준 예제입니다.

chmod +x con.sh 는 con.sh 파일에 들어있는 script가 나중에 실행될 수 있도록 파일 형태를 바꾸어 줍니다. (chmod: change mode)

./con.sh gpdb 는 현재 경로의 con.sh 파일 안의 gpdb 라는 이름 아래에 있는 script (즉, ssh gpadmin@192.168.188.131)를 실행하라는 뜻입니다. 

7. Greenplum DB 시작하기, 멈추기: gpstart, spstop

8. Greenplum DB 상태 확인하기: gpstate

9. Greenplum DB에서 ZooKeeper, GPText 시작하기

10. Greenplum DB에서 나오기: exit

11. 터미널에서 psql 로 Schema, Table 조회하기, SQL로 조회하기, psql 종료

12. IP, 네트워크 인터페이스 확인하기: ifconfig

13. Downloads 폴더에 있는 파일을 GPDB 폴더 안으로 원격 복사하기

      : scp file_name gpadmin@ip:directory

pwd 로 현재 작업 경로 (current working directory)를 확인하고, 

cd Downloads 로 파일을 다운로드 받아놓은 Downloads 폴더로 작업 디렉토리를 변경 후에, 

scp file_name directory 로 파일을 복사하는 예제입니다. 

14. 문자열 패턴 검색: grep

은 다음번 포스팅에서 예를 들어서 설명하겠습니다. 

15. GPDB 버전, master, segment node configuration, MADlib 버전, PL/Language 확인하기

-- GPDB 버전 확인 # select version() PostgreSQL 8.2.15 (Greenplum Database 4.3.18.0 build 1) on x86_64-unknown-linux-gnu, compiled by GCC gcc (GCC) 4.4.2 compiled on Nov 22 2017 18:54:31 -- GPDB master, segment node configuration 확인 # select * from pg_catalog.gp_segment_configuration   -- MADlib 버전 확인 # select madlib.version() MADlib version: 1.12, git revision: rc/1.12-rc1, cmake configuration time: Wed Aug 23 22:33:09 UTC 2017, build type: Release, build system: Linux-2.6.18-238.27.1.el5.hotfix.bz516490, C compiler: gcc 4.4.0, C++ compiler: g++ 4.4.0 # select * from madlib.migrationhistory -- PL/Language 확인 # select * from pg_catalog.pg_language

많은 도움이 되었기를 바랍니다.