[Python] 필수 라이브러리와 사용법

1. 넘파이(Numpy)

Numpy img

파이썬에서 데이터를 다룰 때 가장 처음 배우는 패키지 중 하나는 바로 넘파이(Numpy)다.

주로 수학에서 벡터, 행렬 등을 사용하는 선형대수 계산에 사용된다. 선형대수는 데이터의 차원과 공간에 대해서 다루는데 코딩하는 것을 중점으로 언급할 것이니 일반곱, 행렬곱, 항등행렬에 대한 것들은 따로 자세히 다루도록 하겠다. 

 

- 사용법

numpy는 np라는 별명(약칭)으로 나타내며 import를 사용해서 불러온다. 

import numpy as np

1차원 배열 나타내기

num1이라는 변수를 하나 만들어주고 그 안에 array함수를 사용해 리스트를 넣어주면 배열로 변환해준다.

다차원 배열 나타내기

아래와 같이 랜덤(random)함수를 이용해 (x, y) x행 y열의 랜덤한 리스트를 배열로 변환할 수도 있다. 

*랜덤함수: 범위가 0~1까지인 함수

배열 객체의 타입을 확인하려면 type함수를 이용해 확인해보면 ndarray임을 알 수 있다.

*ndarray: numpy의 배열 객체

범위를 지정한 배열 생성

arange함수는 (start, stop, step) 이나 (start, stop) 혹은 (stop) 으로만 인자를 생성하여 아래처럼 사용할 수 있다.

• 0번째에서 10번째(0~9)까지 2스텝씩 가는 값을 배열
• 1번째에서 10번째(1~9)까지 배열
• 5까지(0~4)의 배열

2. 판다스(Pandas)

pandas img

판다스는 데이터를 데이터프레임(DataFrame)이라는 개체를 이용한 표 기반의 데이터 라이브러리이다.

행과 열로 이루어진 객체들을 다룰 수 있으며 안정적으로 대용량의 데이터들을 처리하기 용이하고, 구조적인 데이터 표시와 처리에 강하다. 같은 데이터 타입의 배열만 처리할 수 있는 Numpy에 반해 Pandas는 데이터 타입이 다양하게 섞여있어도 처리할 수 있다. pandas의 데이터 구조는 Series, DataFrame, Panel으로 되어있다.

이중에서 주로 Series(1차원), DataFrame(2차원)을 많이 다룬다고 한다. 

 

- 사용법

import를 사용해 pandas라이브러리를 불러온다.

import pandas as pd

1차원 데이터(Series)를 활용한 (시퀀스)데이터 생성

Series()의 인자로는 seq_data가 들어간다. 여기에서는 리스트와 튜플 타입의 데이터를 전부 사용할 수 있지만

주로 리스트 데이터를 이용한다. seq_data에서는 왼쪽 세로축에 있는 라벨을 index라고 하고, 입력된 데이터를 value라고 한다. 

위의 결과에서는 데이터들 앞에 인덱스가 순서대로 생성된 것을 볼 수 있다.

• index와 value를 분리해서 가져올 수도 있다.

• RangeIndex는 index를 범위로 표시한 것이다.
• values는 리스트와 그 값의 데이터 타입(int64: 정수)를 표시한 것이다.

출력 결과는 Numpy의 배열과 형식이 비슷한 것을 볼 수 있다.

 

이외에도 아래처럼 index인자를 따로 만들지 않고 딕셔너리를 이용해 데이터와 인덱스를 함께 생성할 수 있다. 👇🏽

s = pd.Series(dict_data)

2차원 데이터(DataFrame)를 활용한 데이터 생성

데이터 프레임은 아래처럼 저장되어 있는 데이터 파일을 읽어올 때 사용하기도 하고,

DataFrame()의 인자인 data에 리스트와 형태가 비슷한 데이터 타입들을 전부 사용할 수 있다.

즉, 리스트와 딕셔너리 타입의 데이터, Numpy의 배열 데이터, Series나 DataFrame 타입의 데이터를 전부 입력할 수 있는 것이다. 데이터 프레임의 구조에서 세로축 라벨은 index, 가로축 라벨을 columns, 이 둘을 제외한 데이터들을 values라고 한다. 이 구조를 생성할 때 주의할 점은 행의 개수와 열의 개수가 전부 일치해야 하는 것이다.

index와 columns는 입력하지 않을 경우, 자동으로 0이 표시된다.

 

• Numpy의 배열 데이터를 입력해 생성한 데이터 프레임

• 딕셔너리 타입 데이터를 입력해 생성한 데이터 프레임

• Series데이터를 입력해 생성한 데이터 프레임

• Series와 마찬가지로 index와 value를 분리해서 가져올 수 있다.

3. 맷플롭립(Matplotlib)

matplotlib img

matplotlib은 데이터 분석 후 효과적인 시각화를 위해 많이 사용하는 라이브러리이다. 이 기능을 사용하면

2차원 선 그래프(plot), 산점도(scatter plot), 막대 그래프(bar chart), 히스토그램(histogram), 파이 그래프(pie chart)등을 그릴 수 있다. 

 

- 사용법

위 라이브러리들과 마찬가지로 모듈을 불러온다.

import matplotlib.pylot as plt

 

선 그래프

- 사용법

선 그래프는 주로 2차원 선 그래프를 사용한다. 형식은 👇🏽

plt.plot(x, y, fmt)

이때 x와 y의 시퀀스 길이가 같아야 제대로 출력된다.

x값은 생략할 수 있고, 생략해서 x값이 없다면 0부터 y의 개수만큼 1씩 증가하는 값으로 자동 할당된다.

fmt는 format string으로, 다양한 형식으로 그래프를 그릴 수 있는 옵션이다.

(* plt.plot(data)를 사용하면 그래프 객체의 정보를 출력해주고,

* plt.show()를 사용하면 그래프만 깔끔하게 보여준다.)

• 2차원 선 그래프

데이터를 넣고, 인자로 입력한다. 

x값이 없어서 자동으로 아래처럼 자동으로 생성된다.

 

그렇다면, x값과 y값이 모두 있는 그래프는 어떨까?

넘파이를 불러오고, x 데이터와 y=2x^2 수식을 이용한 y데이터를 생성한다.

x에는 -4.5에서 5까지 0.5씩 증가하는 배열을 지정해주고 

y에는 2x^2 수식을 넣은 배열을 지정한다.

이를 출력하기 위해 리스트 형태로 감싸주고 보여준다.

 

• 하나의 창에 여러 그래프

x값을 고정해주고 변하는 y값을 지정해서 여러 그래프가 하나의 창에 보이도록 하였다. 

• 그래프 창을 여러개의 하위 그래프 영역으로 나눠 그리기

plt.subplot() 은 하위 그래프를 생성하는 코드다.

x에 0부터 10까지 0.1씩 증가하는 배열과 y에 각 수식을 넣어서 2x2행렬로 된 하위 그래프에서 p에 따라

위치를 지정해주었다. 1은 왼쪽 상단, 2는 오른쪽 상단, 3은 왼쪽 하단, 4는 오른쪽 하단이다.

 

 

• 생성된 그래프 꾸미기 

x에 0부터 5까지 1씩 증가하는 배열을 생성해주고 마커모양, 선스타일, 컬러를 각 값에 설정해준다.

범례는 legend함수를 사용해 나타내주며 그 위치는 loc로 지정해준다.

xlabel, ylabel에는 각 축을 잘 나타내주는 이름을 넣어준다.

title에는 그래프의 제목을 선정해준다.

grid에 True를 넣어주면 그리드를 생성하고 False를 넣어주면 그리드를 생성하지 않는다. 

산점도

-사용법

보통 아래와 같은 형식으로 산점도를 나타낸다. 👇🏽

plt.scatter(x, y [,s=size], c=colors, marker='marker_string', alpha=alpha_f])

s: 마커의 크기, c: 마커의 컬러, marker: 모양, alpha는 투명도를 선정해준다.

옵션을 지정하지 않을 경우 기본값은 s=36, c='b(blue)', marker='o', alpha=1 이렇게 지정된다.

s옵션은 하나의 숫자만 입력하면 모든 마커에 동일한 사이즈 적용, 배열이나 시퀀스를 입력하면 마커마다

크기를 다르게 적용한다.

c옵션도 마찬가지로 하나의 컬러만 입력하면 모든 마커에 동일한 컬러를 적용하고,

시퀀스로 입력하면 마커마다 컬러가 달라진다. 

alpha는 투명도를 지정할 수 있고, 0에서 1사이 범위의 실수를 입력할 수 있다. 0에 가까울수록 완전 투명하고

1에 가까울 수록 완전 불투명해진다.

 

두 가지의 예시를 가져와봤다. 

첫번째 예시는 위에서 얘기한 랜덤함수를 사용해 데이터를 생성하고 산점도 그래프로 나타낸 것이다.

두번째 예시는 2017 통계청 주요도시 인구밀도 자료를 사용했다.

주요 도시 리스트를 city에 넣어주고 x, y값에 위도와 경도를 각각 넣어준다.

인구 밀도는 pop_den으로 변수를 지정해주었다. 

size =  np.array(해당 변수) * 원하는 사이즈로 마커 크기 지정.

colors = red, green, blue, cyan, magenta, white, yellow로 마커 컬러 지정.

plt.scatter(x, y, 사이즈, 컬러, 투명도)로 산점도 그래프 생성.

for문을 사용해 해당 그래프에 텍스트가 보이도록 하였다.

 

막대 그래프

막대 그래프는 막대의 길이가 각 데이터의 크기를 의미하며, plt.bar()로 막대차트를 보여줄 수 있다.

 

-사용법

• 기본 막대 그래프

• 막대 그래프 꾸미기

• 막대 그래프 꾸미기(가로 막대 그래프)두 개의 데이터가 하나의 창에 보이는 그래프

히스토그램

데이터를 정해진 간격으로 나눈 후 그 간격 안에 들어간 데이터 개수를 막대로 표시한 그래프이다.

데이터가 어떤 분포를 갖는지 볼 때 주로 이용한다. 즉, 도수분포표를 막대 그래프로 시각화한 것이다.

✨도수분포표를 이해하기 위해서 알아야 하는 용어✨

변량(variable): 자료를 측정해 숫자로 표시한 것(ex: 점수, 키, 몸묵게, 판매량 등)

계급(class): 변량을 정해진 간격으로 나눈 구간(ex: 시험점수 70~80, 80~90, 90~100)

계급의 간격(class width): 계급을 나눈 크기(위 계급 간격은 10)

도수(frequency): 나눠진 계급에 속하는 변량의 수(ex: 각 계급에서 발생한 수)

도수 분포표(frequency distribution table): 계급에 도수를 표시한 표

- 사용법

히스토그램은 생성하기 전 도수분포표를 생성해야 하는데

1. 변량 생성

학생 20명의 영어시험 결과를 데이터로 생성한다고 가정한다.

80 90 60 65 70 72 73 59 89 95 92 90 100 76 86 80 85 91 95 88

2. 계급 간격 설정 및 계급 생성

변량 중 가장 작은 숫자가 60, 가장 큰 숫자가 100이므로 
일정한 간격을 따로 설정한다. (나는 10으로 설정) 4개의 계급이 설정된다.

3. 계급별 도수 확인 및 도수분포표 만들기

각 계급에 몇 개의 변량이 들어있는지 확인해서 계급별로 도수를 구하고 이것으로 도수 분포표를 만든다.

추가적으로 각 도수를 눈에 띄게 시각화하기 위해 마크로 도수를 표시할 수도 있다.

 

1~3의 과정을 거치고

주로 아래의 형식으로 히스토그램을 나타낸다. 👇🏽

plt.hist(x, [,bins = bins_n 혹은 'auto'])

x는 변량 데이터, 옵션bins: 계급의 개수,입력하지 않을 경우 기본값은 10이고, bins = 'auto'가 입력될 경우

x에 맞게 자동으로 값이 들어간다. 

파이 그래프

전체 데이터에서 각 항목이 차지한 비율을 보고 싶을 때 사용하는 그래프이며, 각 조각들은 각 항목에 비례하는 크기다.

파이그래프 그리는 형식👇🏽

plt.pie(x, [,labels = label_seq, autopct='비율 표시 형식(ex: %0.1f)', shadow = False(기본) 혹은 True,
            explode = explode_seq, counterclock = True(기본) 혹은 Fasle, startangle = 각도 (기본은 0) ])

x는 배열이나 시퀀스 형태의 데이터다. pie()는 x를 입력하면 x의 각 요소가 전체에서 차지하는 비율을 

계산하고 그 비율에 맞게 부채꼴 부분의 크기를 결정해서 파이 그래프를 그린다. x외에도 다양한 옵션을 추가할 수 있다.

✨주요 옵션✨

labels: x 데이터 항목의 수와 같은 문자열 시퀀스(리스트, 튜플)를 지정해 파이 그래프의 각 부채 부분에 문자열을 표시.

autopct: 각 부채 부분에 항목의 비율이 표시되는 숫자의 형식을 지정한다. 

(ex: '%0.1f'가 입력되면 소수점 첫째자리 까지 표시.'%0.0f'가 입력되면 정수만 표시, 숫자뿐 아니라 '%'를 추가하고 싶을 경우'%0.1f%%' 와 같이 입력.

shadow: 그림자 효과를 지정하는 것, 기본값은 효과를 지정하지 않는 False다.

explode: 부채 부분이 원에서 돌출되는 효과를 주어 특정 항목을 강조하고 싶을 때 사용한다. x 데이터 항목의 수와 같은 시퀀스(리스트, 튜플) 데이터로 지정한다. 기본 설정은 강조효과가 없다.

counterclock: x 데이터를 기준으로 부채꼴의 방향이 반시계 방향(True)인지 시계방향(False)인지 지정한다.
기본값은 True로 반시계방향이다.

startangle: 제일 처음 부채꼴이 그려지는 각도로 x축을 중심으로 반시계방향으로 증가한다. 기본값은 0이다.

다른 그래프들과 달리 파이그래프는 가로, 세로 비율이 1:1이어야 제대로 보이기 때문에 그래프의 너비와 높이를 미리 지정해 비율을 조정할 수 있다. 👉🏽 plt.figure(figsize = (w, h))
w(width), h(height)이며 단위는 inch다. figure(figsize = (w, h))를 이용해 w, h값을 지정하지 않으면

(w, h)의 기본값은 (6, 4)이다. w,h를 같은 값으로 지정하면 그래프의 비율이 1:1이 된다. 

 

초등학생, 중학생, 고등학생의 학생 수를 임의로 선정해 파이그래프로 만들어 보았다. 

startangle, counterclock을 지정하지 않았기 때문에 자동적으로 그래프 항목이 반시계방향(왼쪽)으로 그려진다.

위와 달리 startangle과 counterclock을 사용해 부채꼴이 90도, 시계방향(False)으로 향하도록 하였고,

explode를 변량 데이터 수(student 수: 3)와 같도록 맞추고 돋보이게 만들고 싶은 항목의 값만 적절히 증가시켜주었다.

 

이렇게 보니 엑셀과 비슷한 함수들이 굉장히 많은데 같이 공부하면 RPA나 데이터 분석 시각화에 

도움이 잘 될거 같다는 생각이 든다. 개발자가 되는 그 날까지 화이팅!🔥