머신러닝&딥러닝 19

Machine Learning #4 차원 축소 : 신용카드 연체 여부 예측

1. 차원 축소(Dimensionality Reduction) 대부분 데이터 분석의 궁극적인 목표는 종속변수 $Y$를 일련의 독립변수 집합 $[X_{1}, X_{2}, ... , X_{n}]$으로 설명하는 것이다. 그런데 이때 사용하는 독립변수 벡터의 차원이 너무 많으면 여러가지로 문제가 발생한다. 불필요한 혹은 다른 변수들과 유의한 차이가 없는 독립변수들이 포함되면 모형의 성능이 저하된다. 너무 많은 독립변수들을 고려하다보니 계산 비용이 증가한다. 비전문가에게 분석 결과를 이해시키는 직관적인 방법은 시각화인데, 변수 공간이 3차원 이상이 되면 시각화를 하기가 매우 어렵다. 따라서 모형이 사용할 독립변수들을 줄이는 것은 매우 중요한 과제라고 하겠다. 이때 독립변수 벡터의 차원을 줄인다고 해서, 이 과정을..

Machine Learning #3 Decision Tree & Ensemble : 신용카드 연체 예측

GitHub - SeungbeomDo/DataAnalysis: Practical Codes for Data Analysis using Machine Learning and Deep Learning Practical Codes for Data Analysis using Machine Learning and Deep Learning - GitHub - SeungbeomDo/DataAnalysis: Practical Codes for Data Analysis using Machine Learning and Deep Learning github.com 1. Decision Tree의 개요 분류 문제에 자주 사용되는 머신러닝 방법론인 Decision Tree를 설명한다. Decision Tree는 스무고개와 같은..

Machine Learning #2 Logistic Regression & SVM : 정규직 여부 분류 모델

GitHub - SeungbeomDo/DataAnalysis: Practical Codes for Data Analysis using Machine Learning and Deep Learning Practical Codes for Data Analysis using Machine Learning and Deep Learning - GitHub - SeungbeomDo/DataAnalysis: Practical Codes for Data Analysis using Machine Learning and Deep Learning github.com 1. 로짓 회귀분석 1.1. 로짓 회귀분석의 도입 선형회귀모델의 종속변수 $Y$는 대개 연속변수 혹은 수치형변수이다. 하지만 $Y$가 0 아니면 1의 값을 갖도록..

Machine Learning #1 Linear Regression : 근로자 임금 회귀분석

GitHub - SeungbeomDo/DataAnalysis: Practical Codes for Data Analysis using Machine Learning and Deep Learning Practical Codes for Data Analysis using Machine Learning and Deep Learning - GitHub - SeungbeomDo/DataAnalysis: Practical Codes for Data Analysis using Machine Learning and Deep Learning github.com 1. 선형회귀모형의 도입 머신러닝 모델이라고 하면 복잡한 방법론을 떠올린다. 하지만 학부 통계학 강의에서도 쉽게 다루는 선형회귀모델도 머신러닝 모델의 한 유형이다..

UNET 구조 구현하기 #2: 데이터 로더 ~ 모델 검증

Pytorch 기반의 딥러닝 모델 구현을 연습해보기. 한요섭님 유튜브 강의에서 다룬 코드들을 꼼꼼하게 리뷰하면서 딥러닝 모델 구현의.. 일종의 메뉴얼을 습득해보려고 한다. hanyoseob 의료데이터 분석 및 인공지능 개발자, 한요섭 입니다 :D 머신러닝/딥러닝, 신호처리, 병렬 컴퓨팅 (CUDA), 블록체인 (Solidity) 그리고 논문작성 꿀팁 등을 공돌이 관점에서 실습을 통해 알아보도록 www.youtube.com 1편 UNET 구조 구현하기 #1: 데이터 저장하기 ~ 모델 클래스 구현 Pytorch 기반의 딥러닝 모델 구현을 연습해보기. 한요섭님 유튜브 강의에서 다룬 코드들을 꼼꼼하게 리뷰하면서 딥러닝 모델 구현의.. 일종의 메뉴얼을 습득해보려고 한다. hanyoseob 의료데이터 분 seung..

UNET 구조 구현하기 #1: 데이터 저장하기 ~ 모델 클래스 구현

Pytorch 기반의 딥러닝 모델 구현을 연습해보기. 한요섭님 유튜브 강의에서 다룬 코드들을 꼼꼼하게 리뷰하면서 딥러닝 모델 구현의.. 일종의 메뉴얼을 습득해보려고 한다. hanyoseob 의료데이터 분석 및 인공지능 개발자, 한요섭 입니다 :D 머신러닝/딥러닝, 신호처리, 병렬 컴퓨팅 (CUDA), 블록체인 (Solidity) 그리고 논문작성 꿀팁 등을 공돌이 관점에서 실습을 통해 알아보도록 www.youtube.com 1. 데이터 저장하기 1.1. 라이브러리 임포트 및 데이터 불러오기 #구글 드라이브 마운트 from google.colab import drive drive.mount('/content/drive') #필요한 라이브러리 임포트 import os import numpy as np from..

객체 지향 프로그래밍 #3 Types

객체 지향 프로그래밍 #2 OOP의 특징 객체 지향 프로그래밍 #1 클래스와 인스턴스 파이썬을 제대로 다룰 줄 아는 건지에 대한 의심이 들었다. 전처리, 기술 분석, 회귀 분석, 가설 검정, 시각화 이런 데이터 분석의 프로세스를 구현하 seungbeomdo.tistory.com 1. Type Check 파이썬의 변수들은 모두 타입(Type)을 보유하고 있다. 각 타입마다 연산의 범위와 결과가 달라지기 때문에 견고한 코딩을 위해서는 타입을 잘 지정해줘야 한다. 덧셈을 하는 함수를 정의한다고 하면, def cal_add(x, y): #type hint: 어떤 타입의 인자와 결과가 나오는지 기록 return x + y 이때 인자와 결과의 타입을 암묵적으로 정수(int)나 실수(float 타입)라고 가정하지만 ..

객체 지향 프로그래밍 #2 OOP의 특징

객체 지향 프로그래밍 #1 클래스와 인스턴스 파이썬을 제대로 다룰 줄 아는 건지에 대한 의심이 들었다. 전처리, 기술 분석, 회귀 분석, 가설 검정, 시각화 이런 데이터 분석의 프로세스를 구현하는 능력은 있다고 생각했는데, 어쩐지 넘파 seungbeomdo.tistory.com 1. OOP의 특징 1) 추상화(Abstraction) 1편에서 객체 지향 프로그래밍이라는 개념을 사용했지만, 이게 뭘 뜻하는지는 언급하지 않았다. 객체 지향 프로그래밍이란 여기서 설명할 4가지의 특징을 가진 프로그래밍을 말한다. 4가지의 특징들을 알아보도록 하자. 첫번째는 추상화이다. 추상화란 객체들의 공통적인 특징을 뽑아 이름 붙이는 것을 말한다. 객체들의 공통적인 설계도인 클래스를 정의하고, 클래스로부터 객체들에서 사용될 속..

객체 지향 프로그래밍 #1 클래스와 인스턴스

파이썬을 제대로 다룰 줄 아는 건지에 대한 의심이 들었다. 전처리, 기술 분석, 회귀 분석, 가설 검정, 시각화 이런 데이터 분석의 프로세스를 구현하는 능력은 있다고 생각했는데, 어쩐지 넘파이 판다스 이상의 단계로는 나아가지 못한다는 느낌이다. 사실 언급한 과정들이 넘파이 판다스만 할 줄 알면 되는 것들이긴 한데... 뭔가 아쉽다. 나한테 있어서 파이썬은 프로그래밍 툴이라기보다는 매우 크고 유연한 계산기일 뿐이다. 내가 컴공과도 아니고! 데이터 분석으로는 이 정도면 족하다! 라고 말하기에는 다른 사람들의 기술 수준이 점점 높아지고 있는 것 같고... 머신러닝 모델링을 해봤다고/해보고 싶다고 말할 실력이 되려면 좀더 깊은 프로그래밍의 세계로 들어가야겠다는 생각이다. 이 지점에서 늘 내 발을 잡던 것들은 '..