feat: 10장 가치지표 계산 추가

example/10-calculate-stock-value.py

@@ -0,0 +1,96 @@
+# 패키지 불러오기
+import os
+from urllib.parse import quote_plus
+
+import pymysql
+from sqlalchemy import create_engine
+import pandas as pd
+import numpy as np
+from dotenv import load_dotenv
+
+load_dotenv()
+user = os.getenv('DB_USER')
+pw = os.getenv('DB_PW')
+engine_for_pw = quote_plus(pw)
+host = os.getenv('DB_HOST')
+port = int(os.getenv('DB_PORT'))
+db = os.getenv('DB_DB')
+
+# DB 연결
+engine = create_engine(f'mysql+pymysql://{user}:{engine_for_pw}@{host}:{port}/{db}')
+con = pymysql.connect(user=user,
+                      passwd=pw,
+                      host=host,
+                      port=port,
+                      db=db,
+                      charset='utf8')
+mycursor = con.cursor()
+# 가치 지표 계산
+# 분기 재무제표 불러오기
+kor_fs = pd.read_sql("""
+select * from kor_fs
+where 공시구분 = 'q'
+and 계정 in ('당기순이익', '자본', '영업활동으로인한현금흐름', '매출액');
+""", con=engine)
+
+# 티커 리스트 불러오기
+ticker_list = pd.read_sql("""
+select * from kor_ticker
+where 기준일 = (select max(기준일) from kor_ticker) 
+and 종목구분 = '보통주';
+""", con=engine)
+
+engine.dispose()
+
+# TTM 구하기
+kor_fs = kor_fs.sort_values(['종목코드', '계정', '기준일'])
+kor_fs['ttm'] = kor_fs.groupby(['종목코드', '계정'], as_index=False)['값'].rolling(
+    window=4, min_periods=4).sum()['값']
+
+# 자본은 평균 구하기
+kor_fs['ttm'] = np.where(kor_fs['계정'] == '자본', kor_fs['ttm'] / 4,
+                         kor_fs['ttm'])
+kor_fs = kor_fs.groupby(['계정', '종목코드']).tail(1)
+
+kor_fs_merge = kor_fs[['계정', '종목코드',
+                       'ttm']].merge(ticker_list[['종목코드', '시가총액', '기준일']],
+                                     on='종목코드')
+kor_fs_merge['시가총액'] = kor_fs_merge['시가총액'] / 100000000
+
+kor_fs_merge['value'] = kor_fs_merge['시가총액'] / kor_fs_merge['ttm']
+kor_fs_merge['value'] = kor_fs_merge['value'].round(4)
+kor_fs_merge['지표'] = np.where(
+    kor_fs_merge['계정'] == '매출액', 'PSR',
+    np.where(
+        kor_fs_merge['계정'] == '영업활동으로인한현금흐름', 'PCR',
+        np.where(kor_fs_merge['계정'] == '자본', 'PBR',
+                 np.where(kor_fs_merge['계정'] == '당기순이익', 'PER', None))))
+
+kor_fs_merge.rename(columns={'value': '값'}, inplace=True)
+kor_fs_merge = kor_fs_merge[['종목코드', '기준일', '지표', '값']]
+kor_fs_merge = kor_fs_merge.replace([np.inf, -np.inf, np.nan], None)
+
+query = """
+    insert into kor_value (종목코드, 기준일, 지표, 값)
+    values (%s,%s,%s,%s) as new
+    on duplicate key update
+    값=new.값
+"""
+
+args_fs = kor_fs_merge.values.tolist()
+mycursor.executemany(query, args_fs)
+con.commit()
+
+ticker_list['값'] = ticker_list['주당배당금'] / ticker_list['종가']
+ticker_list['값'] = ticker_list['값'].round(4)
+ticker_list['지표'] = 'DY'
+dy_list = ticker_list[['종목코드', '기준일', '지표', '값']]
+dy_list = dy_list.replace([np.inf, -np.inf, np.nan], None)
+dy_list = dy_list[dy_list['값'] != 0]
+
+args_dy = dy_list.values.tolist()
+mycursor.executemany(query, args_dy)
+con.commit()
+
+engine.dispose()
+con.close()

example/10-financial-statements.py

@@ -0,0 +1,133 @@
+import os
+from urllib.parse import quote_plus
+
+import pymysql
+from sqlalchemy import create_engine
+import pandas as pd
+import requests as rq
+from bs4 import BeautifulSoup
+import re
+from tqdm import tqdm
+import time
+from dotenv import load_dotenv
+
+load_dotenv()
+user = os.getenv('DB_USER')
+pw = os.getenv('DB_PW')
+engine_for_pw = quote_plus(pw)
+host = os.getenv('DB_HOST')
+port = int(os.getenv('DB_PORT'))
+db = os.getenv('DB_DB')
+
+# DB 연결
+engine = create_engine(f'mysql+pymysql://{user}:{engine_for_pw}@{host}:{port}/{db}')
+con = pymysql.connect(user=user,
+                      passwd=pw,
+                      host=host,
+                      port=port,
+                      db=db,
+                      charset='utf8')
+mycursor = con.cursor()
+
+# 제무재표 크롤링
+# 티커리스트 불러오기
+ticker_list = pd.read_sql("""
+select * from kor_ticker
+where 기준일 = (select max(기준일) from kor_ticker) 
+	and 종목구분 = '보통주';
+""", con=engine)
+
+# DB 저장 쿼리
+query = """
+    insert into kor_fs (계정, 기준일, 값, 종목코드, 공시구분)
+    values (%s,%s,%s,%s,%s) as new
+    on duplicate key update
+    값=new.값
+"""
+
+# 오류 발생시 저장할 리스트 생성
+error_list = []
+
+
+# 재무제표 클렌징 함수
+def clean_fs(df, ticker, frequency):
+
+    df = df[~df.loc[:, ~df.columns.isin(['계정'])].isna().all(axis=1)]
+    df = df.drop_duplicates(['계정'], keep='first')
+    df = pd.melt(df, id_vars='계정', var_name='기준일', value_name='값')
+    df = df[~pd.isnull(df['값'])]
+    df['계정'] = df['계정'].replace({'계산에 참여한 계정 펼치기': ''}, regex=True)
+    df['기준일'] = pd.to_datetime(df['기준일'],
+                               format='%Y-%m') + pd.tseries.offsets.MonthEnd()
+    df['종목코드'] = ticker
+    df['공시구분'] = frequency
+
+    return df
+
+
+# for loop
+for i in tqdm(range(0, len(ticker_list))):
+
+    # 티커 선택
+    ticker = ticker_list['종목코드'][i]
+
+    # 오류 발생 시 이를 무시하고 다음 루프로 진행
+    try:
+
+        # url 생성
+        url = f'http://comp.fnguide.com/SVO2/ASP/SVD_Finance.asp?pGB=1&gicode=A{ticker}'
+
+        # 데이터 받아오기
+        data = pd.read_html(url, displayed_only=False)
+
+        # 연간 데이터
+        data_fs_y = pd.concat([
+            data[0].iloc[:, ~data[0].columns.str.contains('전년동기')], data[2],
+            data[4]
+        ])
+        data_fs_y = data_fs_y.rename(columns={data_fs_y.columns[0]: "계정"})
+
+        # 결산년 찾기
+        page_data = rq.get(url)
+        page_data_html = BeautifulSoup(page_data.content, 'html.parser')
+
+        fiscal_data = page_data_html.select('div.corp_group1 > h2')
+        fiscal_data_text = fiscal_data[1].text
+        fiscal_data_text = re.findall('[0-9]+', fiscal_data_text)
+
+        # 결산년에 해당하는 계정만 남기기
+        data_fs_y = data_fs_y.loc[:, (data_fs_y.columns == '계정') | (
+            data_fs_y.columns.str[-2:].isin(fiscal_data_text))]
+
+        # 클렌징
+        data_fs_y_clean = clean_fs(data_fs_y, ticker, 'y')
+
+        # 분기 데이터
+        data_fs_q = pd.concat([
+            data[1].iloc[:, ~data[1].columns.str.contains('전년동기')], data[3],
+            data[5]
+        ])
+        data_fs_q = data_fs_q.rename(columns={data_fs_q.columns[0]: "계정"})
+
+        data_fs_q_clean = clean_fs(data_fs_q, ticker, 'q')
+
+        # 두개 합치기
+        data_fs_bind = pd.concat([data_fs_y_clean, data_fs_q_clean])
+
+        # 재무제표 데이터를 DB에 저장
+        args = data_fs_bind.values.tolist()
+        mycursor.executemany(query, args)
+        con.commit()
+
+    except:
+
+        # 오류 발생시 해당 종목명을 저장하고 다음 루프로 이동
+        print(ticker)
+        error_list.append(ticker)
+
+    # 타임슬립 적용
+    time.sleep(2)
+
+# DB 연결 종료
+engine.dispose()
+con.close()