LiJell's 성장기

crawling 기초 : https://lime-jelly.tistory.com/39 3. 멜론, 벅스, 지니 차트 크롤링 3.1. selenium & Chrome Driver 라이브러리 불러오기 from selenium import webdriver import 에러가 날 경우 라이브러리 설치: !pip install selenium 크롬 드라이버 다운받기: https://chromedriver.chromium.org/downloads 본인의 크롬 버전과 알맞는 버전을 이용하시면 됩니다. 3.1.1. Chrome Driver 활용하기 from selenium import webdriver ser = Service('../chromedriver/chromedriver.exe') # 크롬드라이버 파일이 있..

crwaling crwaling을 위한 pandas 기초 https://lime-jelly.tistory.com/37 2. HTML 이해하기 2.1 필요한 라이브러리 불러오기 from selenium import webdriver from selenium.webdriver.chrome.service import Service from bs4 import BeautifulSoup import pandas as pd import numpy as np 2.2 예제 예제 다운로드: https://github.com/Play-with-data/datasalon/blob/master/02_%EA%B0%9C%EC%A0%95%ED%8C%90/2_Data_Analysis_Basic/2_2_Crawling.ipynb ht..

최단 경로 문제 최단 경로 알고리즘은 가장 짧은 경로를 찾는 알고리즘을 의미합니다. 다양한 문제 상황 한 지점에서 다른 한 지점까지의 최단 경로 한 지점에서 다른 모든 지점까지의 최단 경로 모든 지점에서 다른 모든 지점까지의 최단 경로 각 지점은 그래프에서 노드로 표현 지점 간 연결된 도로는 그래프에서 간선으로 표현 다익스트라 최단 경로 알고리즘 특정한 노드에서 출발하여 다른 모든 노드로 가는 최단 경로를 계산 다익스트라 최단 경로 알고리즘은 음의 간선이 없을 때 정상적으로 동작 현실 세계의 도로(간선)은 음의 간선으로 표현되지 않음 다익스트라 최단 경로 알고리즘은 그리디 알고리즘으로 분류 매 상황에서 가장 비용이 적은 노드를 선택해 임의의 과정을 반복 다익스트라 알고리즘 동작 과정 출발 노드 설정 최단..

""" Created on Wed Jan 12 2021 @author: hanju """ 1. 데이터 불러오기 file download: https://github.com/Play-with-data/datasalon 02_개정판을 이용 import pandas as pd import numpy as np csv file 불러오기 fish = pd.read_csv('https://bit.ly/fish_csv', encoding = 'utf-8') # 한글 오류 있으면 encoding = 'euc-kr' fish ''' Species Weight Length Diagonal Height Width 0 Bream 242.0 25.4 30.0 11.5200 4.0200 1 Bream 290.0 26.3 31.2..

DFS(Depth-First Search) DFS는 깊이 우선탐색 그래프에서 깊은 부분을 우선적으로 탐색하는 알고리즘 DFS는 스택 자료구조(혹은 재귀 함수)를 이용 탐색 시작 노드를 스택에 삽입하고 방문 처리 (방문 기준에 따라) 스택의 최상단 노드에 방문하지 않은 인접한 노드가 하나라도 있으면 그 노드를 스택에 넣고 방문 처리 방문하지 않은 인접 노드가 없으면 스택에서 최상단 노드를 꺼냄 더 이상 위 과정을 수행할 수 없을 때까지 반복 #DFS 메서드 정의 def dfs(graph, v, visited): # 현재 노드를 방문 처리 visited[v] = True print(v, end=' ') # 현재 노드와 연결된 다른 노드를 재귀적으로 방문 for i in graph[v]: if not visi..

Modified on Jan 10 2022 # -- coding: utf-8 -- """ Created on Wed Dec 29 15:04:23 2021 @author: hanju """ 판다스 연습문제 df1 = pd.read_csv("./data/cancer_test.csv") df1.columns df1.dtypes df1.head() df1.info() df1.describe() 1. radius_mean, texture_mean, texture_se , smoothness_se NA인 행을 제거하고 총 행의 수 리턴 df1['radius_mean'].isnull().sum() df1['texture_mean'].isnull().sum() df1['texture..

Modified on Jan 10 2022 # -- coding: utf-8 -- """ Created on Wed Dec 29 14:14:18 2021 @author: hanju """ 시각화( visualization) df1 = pd.read_csv("./data/cancer_test.csv") df1 ''' id diagnosis ... symmetry_worst fractal_dimension_worst 0 842302 Malignant ... 0.4601 0.11890 1 842517 Malignant ... 0.2750 0.08902 2 84300903 Malignant ... 0.3613 0.08758 3 84348301 Malignant ... 0.6638 0.17300 4 8435840..

Modified on Jan 10 # -_- coding: utf-8 -_- """ Created on Wed Dec 29 11:23:53 2021 @author: hanju """ 17. 날짜표현 월별, 일별, 요일별 집계 현재 날짜 - 입사일자 = 근무 일자 현재 날짜 import numpy as np import pandas as pd from pandas import Series, DataFrame from datetime import datetime datetime.now() # datetime.datetime(2021, 12, 29, 11, 26, 59, 534499) d1 = datetime.now() type(d1) # datetime.datetime d1.year # 연 d1.month ..

Modified on Jan 10 # -- coding: utf-8 -- """ Created on Tue Dec 28 14:56:05 2021 @author: hanju """ 16. NA 결측치 처리, 중복값 제거 (significantly important) NA (결측치) 처리 숫자형 NA (float type), 문자형 NA import numpy as np import pandas as pd from pandas import Series, DataFrame s1= Series([1,2,3,np.nan]) s1 # 0 1.0 # 1 2.0 # 2 3.0 # 3 NaN # dtype: float64 s2 = Series(['a','b','c', np.na..