뭐라도 끄적이는 BLOG

Large learning rate : overshooting 너무 많은 값을 뛰어넘기 때문에 정상적인 값을 출력하지 못합니다. Small learning rate : takes too long, stops at local minimum 작은 값을 이용한 learning rate는 너무 오랜 시간이 걸립니다. 보통 시작 learning rate를 0.1부터 시작하여 줄이거나 늘리면서 값을 맞춰 나갑니다. Data(X) preprocessing for gradient descent 데이터에 큰 차이가 있을때도 문제가 있습니다. 이것을 해결하기위해 normalize를 해줘야합니다. 데이터의 중심을 0으로 그리고 특정 값안에 들어갈수 있도록 normalize를 해주는 것입니다. Overfitting 둘중 왼쪽..

Logistic Regression Logistic Regression은 Linear Regression의 Hypothesis를 z변수라고 하고 z변수를 Sigmoid Function의 변수로 사용한 공식을 Hypothesis로 사용한 Regression입니다. Logistic Regression의 결과 값은 0과 1사이의 값이 나오며 이것을 통하여 Classification도 가능하기 때문에 Logistic Classification이라고도 부릅니다. Multinomial Classification Logistic Regression이 2개의 범주만을 분류하는 것이라고 한다면 Multinomial Classification은 3개 이상의 범주가 있고 이것을 분류하는 것을 의미합니다. 왼쪽 그림에서 볼 ..

Binary Classification Spam Detection → Spam or Ham Facebook feed : show or hide Credit Card Fraudulent Transaction detection : legitimate or fraud Classification에서 가장 기본적인 것은 Binary Classification입니다. 이것은 분류를 2가지 항목으로만 분류하는 것을 말합니다. 이것은 Logistic Regression 또는 Logistic Classification이라고 부르기도 합니다. 대표적인 예로 스팸메일인지 아닌지 구분하는것, 주가가 오를지 내릴지 구분하는 것, 시험에 통과할지 떨어질지 구분하는 것을 모두 Logistic Regression이라고 할 수 있습니..

Recap 우리의 가설이 무엇인지 기억해야 합니다. 가설이 정해졌을때 Cost function이 어떻게 계산하는지 생각해 봐야합니다. cost function이 나오면 이것을 최소화하기 위한 알고리즘을 생각해 봐야 할 것입니다. Multi-variable feature 이전의 경우에는 1개의 입력 변수를 사용하는 Regression이였습니다. 하지만 수많은 Linear한 현상들 중에서 1개의 변수에 따라 결과가 달라지는 것 보다 여러개의 변수의 영향에 의해 결과가 달라지는 현상이 더 많습니다. 예를들어 2번의 퀴즈와 1번의 중간고사 총 3개의 점수들을 통해 기말고사의 성적을 예측하는 문제는 3개의 입력 변수를 가지는 Linear Regression입니다. 이렇듯 여러개의 변수를 갖는 Linear Regr..

Hypothesis and Cost Linear Regression은 직선적 관계를 가지고 있기 때문에 Hypothesis은 1차 방정식으로 표현할 수 있습니다. 그리고 Linear Regression에서 사용하는 CostFuntion은 모든 x에서 실제값 y와 예측한 값 H(x)간의 거리들의 제곱값을 더한 것입니다. 우리의 목표는 cost를 가장 작게하는 W와 b를 찾는것이 목표입니다. Simplified hypothesis 이해를 위해 수식을 간단히 만들겠습니다 기존의 수식에서 b를 삭제하면 cost는 W에의해 변화되는 function이됩니다. 이것은 계산을 최대한 간단하게 해보기 위한 것입니다. What cost(W) look like? 간단하게 만든 cost function에 W값을 하나 하나 대..

Regression Regression(회귀)는 Machine Learning(머신 러닝)에서도 Training Data Set을 사용하는 Supervised Learning의 한 종류 입니다. Linear Regression 학생이 공부한 시간 x를 입력하여 학생의 시험점수 y를 예측하는 것도 Regression의 한종류라고 할 수 있습니다. 어떤 학생이 공부한 시간(x)당 어떤점수(y)가 나오는지 데이터를 예시로 사용하겠습니다. 예측하고자하는 최종적 목표는 0~100까지 점수입니다. 이렇게 특정 범위를 찾아내는 것이기 때문에 이러한 형태의 머신러닝은 Regression이라고 합니다. 해당 경우는 학생이 공부한 시간이x가 크면 클수록 학생의 시험 성적 y가 높은 경우가 많은것을 볼수 있고 이것은 Lin..

What is ML? explicit programming 개발자가 일일이 조건을 맞추어 프로그래밍 하는것입니다. 단순한 logic을 가지고 프로그램을 개발하는 것은 너무나 많은 logic이 필요하기 때문에 설정하기 힘듭니다. Machine learning 컴퓨터에게 명시적 프로그래밍 없이 학습할 수 있는 능력을 주는 연구 분야를 의미합니다. 즉, 주어진 데이터를 이용해 컴퓨터가 스스로 학습을 합니다. logic을 만들어 내는 것이 아니라 프로그램이 데이터를 기반으로 학습을 하여 Logic을 구현하게 합니다. Supervised/Unsupervised leaning Learning 학습이란 말 그대로 배우는 것을 의미합니다. 프로그램이 스스로 배울 수 있도록 해서 스스로 더 발전되도록 하는것입니다. Su..