티스토리

빅데이터 전문가 되기

검색하기

블로그 홈

빅데이터 전문가 되기

hi-210.tistory.com/m

지야소이 님의 블로그입니다.

구독자: 3

방명록 방문하기

주요 글 목록

OOP(Object Oriented Programming) 😸 OOP(Object Oriented Programming) 이란? - 객체 지향 프로그래밍으로 설계 모형을 특정 프로그램 언어로 번역하는 작업 - 각 부분을 조립하여 전체 프로그램을 만드는 기법 👉 객체(Object, instance) - 서로 연관된 데이터와 그 데이터를 조작하기 위한 함수를 하나의 집합에 모아놓은 것 - 이 때, 집합의 원소가 되는 변수나 함수는 member 또는 attribute라 합니다. - 객체의 속성인 함수는 method라 합니다. 예시로 사각형의 면적을 구하는 프로그램을 만들어 보겠습니다. # 객체 지향하지 않고 구현 h= 10 # 가로 v= 20 # 세로 def area(h,v): return h * v a= area(h, v) print(a) > 200 # 객체 지향 .. 공감수 0 댓글수 0 2023. 7. 4.
Crawling시 한글 깨짐 현상 해결 Crawling을 할 때 한글이 깨지는 현상이 나타날 수 있습니다. 저 또한 한글 깨짐 현상으로 인하여 문제해결법에 대하여 열심히 찾아보았습니다. 아래는 제가 한글 깨짐 현상이 나타났던 문제의 코드입니다. Python을 활용한 Wordcloud (네이버 뉴스) 앞서, 네이버 뉴스를 Crawling한 것을 이용하여 Wordcloud를 해보겠습니다. 이 전에 네이버 뉴스를 Crawling 한 내용입니다. Python을 활용한 Crawling (네이버 뉴스) 앞서, Python을 활용하여 지식백과를 Crawlin hi-210.tistory.com 👉 한글 깨짐 현상 - 이 때는 폰트의 경로를 지정해주는 것이 좋습니다. # 폰트 파일의 경로로 수정 FONT_PATH = 'C:\\Windows\\Fonts\\Na.. 공감수 0 댓글수 0 2023. 7. 2.
Python을 활용한 Crawling (네이버 뉴스) 앞서, Python을 활용하여 지식백과를 Crawling을 하였습니다. Python을 활용한 Crawling (네이버 지식백과) 키워드 검색을 통해 연관검색어, 검색어의 뜻에 대하여 알 수 있도록 지식백과를 Crawling해보겠습니다. 아래는 지식백과(naver)의 사이트 주소입니다. 지식백과 주소 : https://terms.naver.com/ 네이버 지 hi-210.tistory.com 이번에는 네이버 뉴스를 Crawling하여 이를 통해 Wordcloud를 해보겠습니다. 아래는 네이버 뉴스에 대한 주소입니다. : 네이버 뉴스검색 ''의 네이버 뉴스검색 결과입니다. search.naver.com 앞서와 마찬가지로 이번에도 예시로 딸기를 키워드로 설정하겠습니다. - 딸기에 대한 뉴스의 제목, 내용, 링.. 공감수 0 댓글수 0 2023. 7. 2.
Python을 활용한 Wordcloud (네이버 뉴스) 앞서, 네이버 뉴스를 Crawling한 것을 이용하여 Wordcloud를 해보겠습니다. 이 전에 네이버 뉴스를 Crawling 한 내용입니다. Python을 활용한 Crawling (네이버 뉴스) 앞서, Python을 활용하여 지식백과를 Crawling을 하였습니다. Python을 활용한 Crawling (네이버 지식백과) 키워드 검색을 통해 연관검색어, 검색어의 뜻에 대하여 알 수 있도록 지식백과를 Crawling해보겠 hi-210.tistory.com 네이버 뉴스에서 Crawling은 제목, 링크, 내용에 대하여 가져왔지만 wordcloud는 링크를 제외한 제목과 내용에 대하여만 이용하도록 하겠습니다. 이번에도 키워드는 딸기로 설정하여 해보겠습니다. 👉 Crawling을 활용한 Wordcloud # .. 공감수 0 댓글수 0 2023. 7. 2.
Python을 활용한 Crawling (네이버 지식백과) 키워드 검색을 통해 연관검색어, 검색어의 뜻에 대하여 알 수 있도록 지식백과를 Crawling해보겠습니다. 아래는 지식백과(naver)의 사이트 주소입니다. 지식백과 주소 : 네이버 지식백과 아이들도 이해할 수 있는 어린이 백과사전부터! 대학생 수준에 맞는 전문적인 지식까지! 다양하고, 신뢰성 있는 정보를 제공합니다. terms.naver.com 저는 예시로 딸기를 키워드로 설정하여 해보겠습니다. - 연관검색어와 딸기에 대한 각 사전에서의 뜻을 1,2,3으로 하여 가져오도록 하겠습니다. - 내용에 대하여는 csv 파일로 저장하겠습니다. 👉 라이브러리 활성화 # 라이브러리 활성화 import requests import csv from bs4 import BeautifulSoup 👉 검색어와 url 지정 .. 공감수 0 댓글수 0 2023. 7. 2.
Python을 활용한 구구단 만들기(for문) Python의 for문을 활용하여 간단하게 구구단을 만들어보겠습니다. 👉 첫 번째: 2단 ~ 9단 구구단 만들기① : range를 활용하여 구구단을 만들어 보겠습니다. print("구구단") for x in range(2,10): print(x,"단") for y in range(1,10): print(x,"*",y,"=",x*y) print("--------------------------------") - 이중 for문을 활용하였습니다. - 앞의 for문은 "x단"을 뜻하는 것으로 2단에서 9단을 구하므로 range 범위를 2~10으로 설정합니다. - 안의 for문은 곱해주는 값을 뜻하는 것으로1~9를 곱하여 주기 때문에 range 범위를 1~10으로 설정합니다. -> 따라서, 2단 ~ 9단까지의 결.. 공감수 0 댓글수 0 2023. 7. 2.
Google Bigquery 데이터 적재 Open API는 데이터는 데이터가 변경되었을 때 따로 업데이트를 하지 않아도 변경되는 장점이 있습니다. 하지만 그만큼 데이터가 늘어날 수도 있으므로 이 data를 bigquery에 적재하려고 합니다. 그 후 bigquery에서 데이터를 불러와서 streamlit에서 자동 업데이트가 되어 시각화할 수 있도록 만들어보겠습니다. Open API를 가져오는것은 이전에 설명을 드렸습니다. 못보신 분들은 참고하시면 되겠습니다. https://hi-210.tistory.com/36 공공데이터 API 크롤링 공공데이터 API를 크롤링하는 방법에 대하여 알아보겠습니다. 서울 열린데이터 광장의 부동산 전월세가를 활용하겠습니다. 서울 열린데이터 광장 주소입니다. https://data.seoul.go.kr/ 열린데이터광 .. 공감수 0 댓글수 0 2023. 6. 21.
공공데이터 API 크롤링 공공데이터 API를 크롤링하는 방법에 대하여 알아보겠습니다. 서울 열린데이터 광장의 부동산 전월세가를 활용하겠습니다. 서울 열린데이터 광장 주소입니다. https://data.seoul.go.kr/ 열린데이터광장 메인 데이터분류,데이터검색,데이터활용 data.seoul.go.kr 👉 로그인 후 검색 - 아이디가 없으시다면 회원가입 후 로그인을 해줍니다. - 통합 검색창에 원하는 데이터 내용('부동산 전월세가')을 찾습니다. 👉 인증키 신청 - 미리보기에서 OpenAPI를 클릭한 후 인증키 신청을 눌러줍니다. - 샘플 URL을 확인해보면 주소사이에 (인증키)라고 되있는 곳에 신청한 인증키를 넣어주면 됩니다. - 사용 URL에 본인의 블로그 주소를 적어주고, 이메일, 활용용도, 내용을 적어줍니다. 👉 인증키.. 공감수 0 댓글수 0 2023. 6. 21.
[skcikit-learn] Cross Validation(교차 검증) 👀 Cross Validation(교차 검증) 이란? : 말 그대로 데이터를 교차하여 모델을 검증하는 것입니다. 'train_test_split' 함수는 데이터를 1회 분리해 모델을 학습하고 검증하지만, 교차 검증은 이를 여러번 시도해 같은 데이터로 여러번 훈련하는 효과를 통해 모델의 신뢰도를 높일 수 있게 됩니다. 👉 sklearn.model_selection.cross_validate cross_val_score(estimator, X, y=None, *, groups=None, scoring=None, cv=None, n_jobs=None, verbose=0, fit_params=None, pre_dispatch='2*n_jobs', error_score=nan) 주요 Parameter - esti.. 공감수 0 댓글수 0 2023. 4. 28.
[scikit-learn] Linear Models 👀 선형 모델 : 대상 값이 기능의 선형 조합이 될 것으로 예상되는 회귀를 위한 일련의 방법 👉 일반 최소 제곱 : LinearRegression 계수가 있는 선형 모델에 적합 w = (w1,...wp) 데이터 세트에서 관찰된 대상과 선형 근사로 예측된 대상 사이의 잔차 제곱합을 최소화합니다. LinearRegression 메서트 배열 X, y를 가져고오고 fit 계수를 저장합니다. from sklearn import linear_model reg = linear_model.LinearRegression() # fit()메서드를 호출하여 모델 데이터에 맞춤 reg.fit([[0,0],[1,1],[2,2]],[0,1,2]) # coef_속성 사용 (데이터의 특징에 대한 가중치 포함) ## 각 특징이 출력 .. 공감수 0 댓글수 0 2023. 4. 28.
[scikit-learn] pipeline 👀 pipeline 이란? : 최종 추정기가 포함된 변환 파이프라인. 변환 목록과 최종 추정기를 순차적으로 적용합니다. 파이프라인의 중간 단계는 '변환'이여야 합니다. 파이프라인의 목적은 서로 다른 매개 변수를 설정하면서 함께 교차 검증할 수 있는 여러 단계를 조합하는 것입니다. pipeline(steps, *, memory = None, verbose = False) 👉 속성 - named_steps : 이름으로 단계에 액세스 - classes_ : 클래스 레이블 - n_features_in_ : fit 첫 번째 단계 방법 중에 표시되는 기능의 수 - feature_names_in_ : 첫 번째 단계 방법 중에 표시되는 기능의 이름 예시로 어떻게 pipeline을 어떻게 사용하는지 확인해보겠습니다. f.. 공감수 0 댓글수 0 2023. 4. 27.
[DataFrame] merge( ) vs concat( ) 👀 merge( ) 란? :공통의 열을 기준으로 두 데이터 프레임을 합쳐주므로 나머지 열까지 조인하고 싶을 때 편리하게 사용할 수 있습니다. import pandas as pd # df1, df2의 열 이름이 같을 때 pd.merge(df1, df2, on = '공통열', how = '조인방식') # df1, df2의 열 이름이 다를 때 df1.merge(df2, left_on= 'df1의 공통컬럼명', rigth_on= 'df2의 공통컬럼명', how = '조인방식') how [default = 'inner'] : 조인 방식으로는 'left', 'right', 'inner', 'outer' 이 있음. 예시 데이터를 통하여 이해하겠습니다. fruit = pd.DataFrame({'Num':[123, 45.. 공감수 0 댓글수 0 2023. 4. 27.
Warnings(경고 제어) 👀 Warnings 이란? : 일반적으로 사용자에게 프로그램의 일부 조건을 경고하는 것이 유용한 상황일 때 사용합니다. 해당 조건에 의해 예외를 발생시키거나 프로그램을 종료하는 것을 보증하지 않는 상황에서 발생됩니다. 수업 설명 Warning 모든 경고 범주 클래스의 기본 클래스 UserWarning warn( )의 기본 범주 DeprecationWarning 폐지된 기능에 대한 경고의 베이스 범주 (경고가 다른 파이썬 개발자를 대상으로 할 때) SyntaxWarning 모호한 구문 기능에 대한 경고 베이스 범주 RuntimeWarning 모호한 런타임 기능에 대한 경고 베이스 범주 FutureWarning 폐지된 기능에 대한 경고의 베이스 범주 (파이썬으로 작성된 응용프로그램의 최종 사용자를 대상으로 .. 공감수 0 댓글수 0 2023. 4. 27.
Selenium 라이브러리 👀 Selenium 이란? : 웹 상에서 정적인 페이지를 탐색할 때는 BeautifulSoup 패키지를 동적인 크롤링을 할 때는 Seleunium 패키지를 사용합니다. 여기서 동적인 크롤링이란, url 상에는 아무런 변화없이 동작하는 웹 페이지에 대한 크롤링입니다. 😄 설정 👉 chrome driver 설정 - 크롬 드라이버 다운로드: https://chromedriver.chromium.org/downloads ChromeDriver - WebDriver for Chrome - Downloads Current Releases If you are using Chrome version 113, please download ChromeDriver 113.0.5672.24 If you are using Chr.. 공감수 0 댓글수 0 2023. 4. 18.
[Matplotlib] 선그래프 그려보기 Matplotlib의 사용법에 대해 알아봅시다. 👀 Matplotlib이란? : 2차원 그래픽 패키지 예시로 그래프를 그려봅시다. # example 1 import matplotlib.pyplot as plt import numpy as np x = np.linspace (0,1,50) y1 = np.cos(4*np.pi*x) y2 = np.cos(4*np.pi*x)*np.exp(-2*x) plt.plot(x,y1) plt.plot(x,y2) plt.show() 조금 더 세밀하게 조정해봅시다. # example 2 import matplotlib.pyplot as plt import numpy as np x = np.linspace (0,1,50) y1 = np.cos(4*np.pi*x) y2 = np... 공감수 0 댓글수 0 2023. 4. 17.
[pandas] DataFrame 😸 pandas.DataFrame ? - 생성된 instance의 크기의 변경이 가능한 2차원 배열 - 구조: class pandas.DataFrame(data=None, index=None, columns=None, copy=None) parameter - index : instance에 설정되는 행 레이블 - columns : instance에 설정되는 열 레이블 - dtype : dtype 데이터 유형을 강제하고자 할 때 값 ( 기본값은 None이며 None일 경우 type이 자동으로 추론) 👉 축 및 레이블 인덱스를 열로 변환 (reset_index) - 설정 인덱스를 제거하고 기본 인덱스 (0,1,2, ...n)으로 변경하는 메서드 - 구조 : DataFrame.reset_index(level=.. 공감수 1 댓글수 0 2023. 4. 15.
라이브러리 자료모음 👀 Pandas 자료 모음 👉 pandas 공식홈페이지 https://pandas.pydata.org pandas - Python Data Analysis Library pandas pandas is a fast, powerful, flexible and easy to use open source data analysis and manipulation tool, built on top of the Python programming language. Install pandas now! pandas.pydata.org 👉 pandas에 대한 코드 확인 가능 https://github.com/pandas-dev/pandas GitHub - pandas-dev/pandas: Flexible and powerfu.. 공감수 1 댓글수 0 2023. 4. 14.
사용자 정의 함수 docstring : 모듈, 함수, 클래스 또는 메소드 정의의 첫 번째 명령문으로 발생하는 문자열 리터럴 def hello(): """이 함수는 'Hello World!'를 출력한다!""" print("Hello World!") hello() > Hello World! def hello(): """이 함수는 'Hello World!'를 출력한다!""" print("Hello World!") > Help on function hello in module __main__: hello() 이 함수는 'Hello World!'를 출력한다! 함수 설명을 담은 docstring을 작성하여, hello() 함수를 문서화하였습니다. 심화된 사용자 정의 함수 만들기 # 숫자가 나오게 되면 에러가 뜨도록 만듦. # def.. 공감수 1 댓글수 4 2023. 4. 13.
List 요소 삭제 😺 리스트에서는 메소드(pop, remove, clear)를 사용하거나, del 키워드를 이용해 요소를 삭제한다. 👉🏻 pop - index를 입력받아 리스트에서 해당 index에 존재하는 값을 추출한다. (index 값을 입력하지 않을 경우 리스트의 마지막 요소가 추출된다.) - 입력받은 인자가 index에 존재하지 않을 경우 IndexError가 발생한다. - pop에서 추출된 값은 int, str 형태로 변환된다. dates = [412, 510, 531, 1014, 5057, "커피"] datep=dates.pop(-1) print((type(datep)),datep) print((type(dates)),dates) 커피 [531, 1014, 5057] 👉🏻 remove - 값을 입력받아 리스트에.. 공감수 1 댓글수 0 2023. 4. 13.
시퀀스 자료형(sequence types) 👀 시퀀스 자료형(sequence types)? : 연속적으로 이어진 자료형 ex) list, str, tuple, range, bytes, bytearray.. - 특징 ① 공통된 동작과 기능을 제공한다. ② 시퀀스 자료형으로 만든 객체를 시퀀스 객체라 부르며, 객체 안에 저장된 값을 요소라 부른다. ③ 반복문이 사용 가능하다. 👉 검색: 특정 값이 있는지 확인 ( 값 in 시퀀스 객체 ) dic = { "one":1, "two":2, "three":3 } if( 1 not in dic.values() ): print('1 not in dic') else: print("1 in dic") 1 in dic → 시퀀스 객체에 존재하는 경우 True를 반환하고, 없다면 False를 반환한다. 여기서 1은 시.. 공감수 1 댓글수 1 2023. 4. 13.
Immutable 과 Mutable Immutable과 Mutalbe이 무엇인지 차이점을 알아보겠습니다. - immutable : 수정 불가능한 객체 ex) int, float, str, tuple - mutable : 수정 가능한 객체 ex) list, dictionary 먼저 다음 코드를 실행해보고 메모리 상에서 어떤 변화가 있을지 생각해봅니다. a = "python2" id(a) 2623587526960 a = "python3" id(a) 2623587526896 위 코드의 뜻은 이렇게 됩니다. "python2"라는 문자열 객체가 메모리의 2623587526960 번지에 할당되고 해당 객체를 a라는 변수가 바인딩합니다. "python3"라는 문자열 객체가 메모리의 2623587526896 번지에 할당되고 해당 객체를 a라는 변수가 바.. 공감수 1 댓글수 0 2023. 4. 13.
Python 자료 모음 👀 Python 자료 모음 👉 python 공식홈페이지 공감수 1 댓글수 0 2023. 4. 13.
Python_list comprehension 기존에 배운 문법으로 1부터 10까지 정수를 순서대로 가지고 있는 리스트를 생성하는 코드는 다음과 같습니다. numbers = [] for n in range(1, 10+1): numbers.append(n) 이러한 코드를 컴프리헨션으로 표기하면 다음과 같습니다. >>> [x for x in range(10)] 리스트 컴프리헨션이 작동하는 방식을 for문과 비교하면 다음과 같습니다. 리스트를 생성하는 방식은 대괄호([])를 통해 생성하는 방법은 동일합니다. 차이점은 컴프리헨션은 리스트 내부에 코드를 작성한다는 점입니다. 만약 딕셔너리 컴프리헨션 또는 셋 컴프리헨션 문법을 사용할 때는 대괄호를 사용합니다. 반복문은 별도로 작성하지 않고 리스트 컴프리헨션은 리스트 내부에 작성하여 반복합니다. 리스트 컴프리헨.. 공감수 1 댓글수 2 2023. 4. 13.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.