[Python] Python으로 JSON 데이터 읽고 쓰기 (Read and Write JSON data by Python)

json.org의 JSON 소개 내용에 따르면, JSON (JavaScript Object Notation) 은 XML, YAML 과 함께 효율적으로 데이터를 저장하고 교환(exchange data)하는데 사용하는 텍스트 데이터 포맷 중의 하나입니다. JSON은 사람이 읽고 쓰기에 쉬우며, 또한 기계가 파싱하고 생성하기도에 쉽습니다. JSON은 그 이름에서 유추할 수 있듯이 JavaScript의 프로그래밍 언어의 부분에 기반하고 있으며, C-family 프로그램밍 언어 (C, C++, C#, Java, JavaScript, Perl, Python 등)의 규약을 따르고 있어서 C-family 프로그래밍 언어 간 데이터를 교환하는데 적합합니다. 

JSON은 아래의 두개의 구조로 이루어져 있습니다. 

• 이름/값 쌍의 집합 (A collection of name/value pairs): object, record, struct, dictionary, hash table, keyed list, associative array
• 정렬된 값의 리스트 (An ordered list of values): array, vector, list, sequence

홍길동이라는 이름의 학생에 대한 정보를 포함하고 있는 JSON 데이터 포맷의 예를 들어보겠습니다.

{ "1.FirstName": "Gildong", "2.LastName": "Hong", "3.Age": 20, "4.University": "Yonsei University", "5.Courses": [ { "Classes": [ "Probability", "Generalized Linear Model", "Categorical Data Analysis" ], "Major": "Statistics" }, { "Classes": [ "Data Structure", "Programming", "Algorithms" ], "Minor": "ComputerScience" } ] }

그러면, 이번 포스팅에서는 

(1) Python 객체를 JSON 데이터로 쓰기, 직렬화, 인코딩 (Write Python object to JSON, Serialization, Encoding)

(2) JSON 포맷 데이터를 Python 객체로 읽기, 역직렬화, 디코딩 (Read JSON to Python, Deserialization, Decoding)

하는 방법을 소개하겠습니다. 

위의 Python - JSON 간 변환 표(conversion table b/w python and JSON)에서 보는 바와 같이, python의 list, tuple 이 JSON의 array로 변환되며, JSON의 array는 pythonhon의 list로 변환됩니다. 따라서 Python의 tuple을 JSON으로 변환하면 JSON array가 되며, 이를 다시 Python으로 재변환하면 이땐 python의 tuple이 아니라 list로 변환된다는 점은 인식하고 사용하기 바랍니다. 

(1) Python 객체를 JSON 데이터로 쓰기, 직렬화, 인코딩: json.dumps()       (Write Python object to JSON, Serialization, Encoding)

python 객체를 JSON 데이터로 만들어서 쓰기 위해서는 파이썬의 내장 json 모듈이 필요합니다. 

import json

아래와 같은 홍길동 이라는 학생의 정보를 담고 있는 사전형 자료(dictionary)를 json.dump()와 json.dumps() 의 두가지 방법으로 JSON 포맷 데이터로 만들어보겠습니다. 

student_data = {     "1.FirstName": "Gildong",     "2.LastName": "Hong",     "3.Age": 20,      "4.University": "Yonsei University",     "5.Courses": [         {             "Major": "Statistics",              "Classes": ["Probability",                          "Generalized Linear Model",                          "Categorical Data Analysis"]         },          {             "Minor": "ComputerScience",              "Classes": ["Data Structure",                          "Programming",                          "Algorithms"]         }     ] }

(2-1) with open(): json.dump() 를 사용해서 JSON 포맷 데이터를 디스크에 쓰기

with open("student_file.json", "w") 로 "student_file.json" 이름의 파일을 쓰기("w") 모드로 열어놓고, json.dump(student_data, json_file) 로 직렬화해서 JSON으로 내보내고자 하는 객체 student_data를, 직렬화된 데이터가 쓰여질 파일 json_file 에 쓰기를 해주었습니다. 

import json with open("student_file.json", "w") as json_file:     json.dump(student_data, json_file)

그러면 아래의 화면캡쳐에서 보는 바와 같이 'student_file.json'이라는 이름의 JSON 포맷 데이터가 새로 생성되었음을 알 수 있습니다.

(2-2) json.dumps()를 사용해서 JSON 포맷 데이터를 메모리에 만들기

만약 메모리 상에 JSON 포맷 데이터를 만들어놓고 python에서 계속 작업을 하려면 json.dumps() 를 사용합니다.

import json st_json = json.dumps(student_data) print(st_json) {"5.Courses": [{"Classes": ["Probability", "Generalized Linear Model", "Categorical Data Analysis"], "Major": "Statistics"}, {"Minor": "ComputerScience", "Classes": ["Data Structure", "Programming", "Algorithms"]}], "3.Age": 20, "2.LastName": "Hong", "4.University": "Yonsei University", "1.FirstName": "Gildong"}

이때 만약 json.dumps()가 아니라 json.dump() 처럼 's'를 빼먹으면 TypeError가 발생하므로 주의하세요. 

# use json.dumps() instead of json.dump() st_json = json.dump(student_data) --------------------------------------------------------------------------- TypeError Traceback (most recent call last) <ipython-input-5-ac881d00bbcb> in <module>() ----> 1 st_json = json.dump(student_data) TypeError: dump() missing 1 required positional argument: 'fp'

json.dumps()로 파이썬 객체를 직렬화해서 JSON으로 쓸 때 사람이 보기에 좀더 쉽도록 'indent = int' 로 들여쓰기(indentation) 옵션을 설정할 수 있습니다. 아래 예시는 indent=4 로 설정한건데요, 한결 보기에 가독성이 좋아졌습니다. 

import json st_json2 = json.dumps(student_data, indent=4) print(st_json2) { "3.Age": 20, "5.Courses": [ { "Classes": [ "Probability", "Generalized Linear Model", "Categorical Data Analysis" ], "Major": "Statistics" }, { "Minor": "ComputerScience", "Classes": [ "Data Structure", "Programming", "Algorithms" ] } ], "1.FirstName": "Gildong", "4.University": "Yonsei University", "2.LastName": "Hong" }

'sort_keys=True' 를 설정해주면 키(keys)를 기준으로 정렬해서 직렬화하여 내보낼 수도 있습니다. 

import json st_json3 = json.dumps(student_data, indent=4, sort_keys=True) print(st_json3) { "1.FirstName": "Gildong", "2.LastName": "Hong", "3.Age": 20, "4.University": "Yonsei University", "5.Courses": [ { "Classes": [ "Probability", "Generalized Linear Model", "Categorical Data Analysis" ], "Major": "Statistics" }, { "Classes": [ "Data Structure", "Programming", "Algorithms" ], "Minor": "ComputerScience" } ] }

(2) JSON 포맷 데이터를 Python 객체로 읽기, 역직렬화, 디코딩: json.loads()       (Read JSON to Python, Deserialization, Decoding)

(2-1) 디스크에 있는 JSON 포맷 데이터를 json.load()를 사용하여 Python 객체로 읽어오기 (역직렬화, 디코딩 하기)

이어서, (1)번에서 with open(): json.dump() 로 만들어놓은 JSON 포맷의 데이터 "student_file.json" 를 Python 으로 역질렬화(deserialization)해서 읽어와 보겠습니다. with open("student_file.json", "r") 로 읽기 모드("r")로 JSON파일을 열어 후에, json.load(st_json)으로 디코딩하였습니다. 

import json with open("student_file.json", "r") as st_json:     st_python = json.load(st_json) st_python {'1.FirstName': 'Gildong', '2.LastName': 'Hong', '3.Age': 20, '4.University': 'Yonsei University', '5.Courses': [{'Classes': ['Probability', 'Generalized Linear Model', 'Categorical Data Analysis'], 'Major': 'Statistics'}, {'Classes': ['Data Structure', 'Programming', 'Algorithms'], 'Minor': 'ComputerScience'}]}

이때 json.loads() 처럼 's'를 붙이면 TypeError: the JSON object must be str, not 'TextIOWrapper'가 발생합니다. (json.loads()가 아니라 json.load() 를 사용해야 함)

# use json.load() instead of json.loads() with open("student_json_file.json", "r") as st_json:     st_python = json.loads(st_json) --------------------------------------------------------------------------- TypeError Traceback (most recent call last) <ipython-input-53-c39634419df6> in <module>() 1 with open("student_json_file.json", "r") as st_json: ----> 2 st_python = json.loads(st_json) C:\Users\admin\Anaconda3\lib\json\__init__.py in loads(s, encoding, cls, object_hook, parse_float, parse_int, parse_constant, object_pairs_hook, **kw) 310 if not isinstance(s, str): 311 raise TypeError('the JSON object must be str, not {!r}'.format( --> 312 s.__class__.__name__)) 313 if s.startswith(u'\ufeff'): 314 raise JSONDecodeError("Unexpected UTF-8 BOM (decode using utf-8-sig)", TypeError: the JSON object must be str, not 'TextIOWrapper'

(2-2) 메모리에 있는 JSON 포맷 데이터를 json.loads()로 Python 객체로 읽기 (역직렬화, 디코딩하기)

import json st_python2 = json.loads(st_json3) st_python2 {'1.FirstName': 'Gildong', '2.LastName': 'Hong', '3.Age': 20, '4.University': 'Yonsei University', '5.Courses': [{'Classes': ['Probability', 'Generalized Linear Model', 'Categorical Data Analysis'], 'Major': 'Statistics'}, {'Classes': ['Data Structure', 'Programming', 'Algorithms'], 'Minor': 'ComputerScience'}]}

이때 만약 json.loads() 대신에 's'를 빼고 json.load()를 사용하면 AttributeError: 'str' object has no attribute 'read' 가 발생하니 주의하기 바랍니다. 

# use json.loads() instead of json.load() st_python2 = json.load(st_json3) --------------------------------------------------------------------------- AttributeError Traceback (most recent call last) <ipython-input-54-9de49903fef6> in <module>() ----> 1 st_python2 = json.load(st_json3) C:\Users\admin\Anaconda3\lib\json\__init__.py in load(fp, cls, object_hook, parse_float, parse_int, parse_constant, object_pairs_hook, **kw) 263 264 """ --> 265 return loads(fp.read(), 266 cls=cls, object_hook=object_hook, 267 parse_float=parse_float, parse_int=parse_int, AttributeError: 'str' object has no attribute 'read'

많은 도움이 되었기를 바랍니다. 

다음번 포스팅에서는 '웹(API)으로 부터 JSON 포맷 자료를 Python으로 읽어와서 pandas DataFrame으로 만드는 방법(https://rfriend.tistory.com/475)을 소개하겠습니다. 

Python으로 XML 파일 읽기, 쓰기는 https://rfriend.tistory.com/477 를 참고하세요. 

Python으로 YAML 파일 읽기, 쓰기는 https://rfriend.tistory.com/540 를 참고하세요. 

이번 포스팅이 도움이 되었다면 아래의 '공감~'를 꾹 눌러주세요.  :-)