[python] 파이썬을 이용한 빅 데이터 실습 8 - 데이터 입출력
외부에서 제공해주는 데이터 사용하기
파일에서 데이터 읽어오기
import pandas as pd
from pandas import Series, DataFrame
csv파일 데이터 입출력
csv 파일 읽기 - read_csv()
파일은 현재 사용하는 쥬피터 실습 파일이 넣어진 파일 안에
ex1의 파일이 존재한단 하의 실습입니다.
보통은 c드라이브에 들어있습니다.
pd.read_csv('data/ex1.csv')
실행결과
a b c d message
0 1 2 3 4 hello
1 5 6 7 8 world
2 9 10 11 12 foo
sep인자 활용하기
각각을 columns으로 쪼개고 싶을 때 인자값(sep)을 사용
- 특정 구분자를 기준으로 필드들이 구분되어 있는 csv형태의 파일은
모두 처리 가능하므로 파일의 확장자는 상관이 없다
pd.read_csv('data/ex2.txt', sep=' ')
실행결과
a b c d message
0 1 2 3 4 hello
1 5 6 7 8 world
2 9 10 11 12 foo
encoding 인자 활용하기
-여기서부터는 실행결과가 너무 길어서 생략하겠습니다
소스를 주의해주세요!
해당 파일은 문자열이 인코딩하는 방식과 맞지 않으면 에러가 뜬다
그럴때 ecoding 인자를 활용 윈도위 계열의 경우 cp949를 사용한다
pd.read_csv('data/2020KBO야구.csv', encoding='cp949')
header, names 인자 활용하기 (컬럼명이 파일에 포함되어 있지 않은 경우)
컬럼명이 포함되어 있지 않은 경우(데이터만 있는 경우)
header 인자 활용하기 : 컬럼명으로 사용할 라인 지정
기본값: 0 (첫번 째 줄은 컬럼명으로 활용하라는 의미)
None : 컬럼명이 없음을 의미. 즉, 첫번째 줄부터 데이터로 읽기
2개 줄이 컬럼명으로 사용하는 경우, 리스트 형태로 지정
ex) header = [0,1]
pd.read_csv('data/2020KBO야구_컬럼명미포함.csv', encoding='cp949',
header = None)
name 인자 활용하기 : 컬럼을 명시적으로 지정
기본적으로 컬럼명은 파일에 포함되어 있지 않기 때문에
이 인자값을 컬럼명으로 지정하고, 파일의 첫번째 줄부터 데이터로 읽음
pd.read_csv('data/2020KBO야구_컬럼명미포함.csv', encoding='cp949',
names = ['선수명','팀명','타율','안타','홈런','연봉'])
불필요한 줄은 제외하고 데이터 읽기
skiprows을 이용하여, 특정 행을 읽지 않도록 한다
pd.read_csv('data/2020KBO야구_주석포함.csv', encoding='cp949',
skiprows = [0,1,2],
names = ['선수명','팀명','타율','안타','홈런','연봉'])
comment 인자를 이용하여, 주석은 데이터로 읽지 않는다
pd.read_csv('data/2020KBO야구_주석포함.csv', encoding='cp949',
comment = '*',
names = ['선수명','팀명','타율','안타','홈런','연봉'])
비어 있는 줄의 경우 기본적으로 데이터를 읽지 않도록 설정되어 있다
비어 있는 줄을 읽을 경우 : skip_blank_lines = False
pd.read_csv('data/2020KBO야구_주석포함.csv', encoding='cp949',
comment = '*',
names = ['선수명','팀명','타율','안타','홈런','연봉'],
skip_blank_lines=False)
용량이 매우 큰 파일 읽기
데이터를 한 번에 읽어서 데이터프레임으로 저장해 오는 것이 불가능 할 수 있다
파일의 크기가 컴퓨터의 성능(가용 메모리 크기)보다 크면,
Out Of Memory(OOM) Error 발생
nrows
- 기본적으로 앞에 있는 데이터만 읽어 올 수 있다
pd.read_csv('data/2020KBO야구.csv', encoding='cp949', nrows = 10)
chunksize
- 지금까지 실행해 본 read.csv() 함수는 파일을 읽은 내용을
데이터프레임 형태로 반환해 주었다
chunksize 인자
파일을 읽을 준비가 되어 있는 텍스트 파일 리더(TextFileReader)라는 객체를 리턴
chunksize의인자값으로 리턴된 객체를 변수(커서)에 담아 놓음
next(커서) : chunksize 개수만큼 데이터를 읽어 온다
커서 = pd.read_csv('data/2020KBO야구.csv', encoding='cp949', chunksize = 10)
next(커서)
끊어서 읽어 온 데이터 저장하기
데이터 목록 변수에 빈(empty) 리스트 할당
루프문에 커서를 활용할 수 있다
next(커서)가 호출되면서 변수(data)에 저장
데이터목록 변수에 data를 append
데이터목록 = []
for data in 커서 :
데이터목록.append(data)
결과를 csv 파일로 저장하기 - to_csv()
data = pd.read_csv('data/2020KBO야구.csv', encoding='cp949')
result = data.pivot_table(index='팀명',values='안타',aggfunc='sum')
result.to_csv('data/팀별안타수.csv',encoding='cp949')
저장완룟 ~~
excel 파일의 입출력
excel 파일 읽기 - read_excel()
pd.read_excel('data/2020KBO야구.xlsx')
첫 번째 sheet가 아닌 원하는 sheet을 읽어 오기
sheet_name = 0 (기본값) : 첫 번째 sheet의 데이터를 읽어 옴
sheet_name = 1 : 두 번째 sheet의 데이터를 읽어 옴
- 숫자 대신 sheet 의 이름을 넣을 수도 있다
pd.read_excel('data/2020KBO야구.xlsx', sheet_name = 1)
2개 이상의 시트 데이터를 읽어 올때는 사전타입의 데이터로 리턴한다
data = pd.read_excel('data/2020KBO야구.xlsx', sheet_name = ['LG','두산'])
data
전체 sheet 읽어 오기
sheet_name에 리스트 형태로 모두 작성하거나 None 으로 작성
2개 이상의 sheet이므로 사전(Dict)형태
야구데이터 = pd.read_excel('data/2020KBO야구.xlsx', sheet_name = None)
두산, SK, NC, LG, KT, KIA, 한화, 키움, 롯데, 삼성 = 야구데이터.values()
결과를 excel 파일로 저장하기 - to_xlsx()
두산.to_excel('data/두산데이터.xlsx')
두둥! 작성완룟
