목록전체 글 (111)
Shine's dev log
1. KLD / JSD 얼마전 GAN 논문을 읽는데 KLD, JSD에 관한 내용이 나왔다. 그냥 단순히 두 확률분포 간의 distance를 나타내는 divergence라고 생각했는데, 사실은 이게 아니라 더 심오한 내용이 있어서 정리해보겠다. 2. KL divergence (Kullback-Leibler divergence) 2.1. KL divergence의 의미 위키백과에서는 KL divergence를 다음과 같이 정의하고 있다. 쿨백-라이블러 발산(KLD)은 두 확률분포의 차이를 계산하는 데에 사용하는 함수로, 어떤 이상적인 분포에 대해, 그 분포를 근사하는 다른 분포를 사용해 샘플링을 한다면 발생할 수 있는 정보 엔트로피 차이를 계산한다. 쿨백-라이블러 발산은 어떠한 확률분포 P가 있을 때, 샘플..
논문 제목 : Generative Adversarial Nets 0. abstract 본 논문에서는 adversarial process를 통한 generative model을 estimate 하는 새로운 프레임워크, GAN을 제안한다. GAN에서는 동시에 2개의 모델을 학습시킨다. 첫번째 모델은 데이터를 생성하는 generative model G 이고, 두번째 모델은 데이터의 진위여부를 판별하는 discriminative model D 이다. G는 최대한 D가 실수를 하도록 하는 것, 즉 G가 만든 데이터와 실제 데이터를 D가 판별 못하도록 하는 것이 목적이다. G와 D 모델이 multilayer perceptron 구조를 가지고 있다면, backpropagation을 통해 학습이 가능하다. GAN을 이..
1. 프로그램 설명 특정 폴더의 파일 이름을 정리해주는 프로그램이다. (그냥 내가 필요해서 만들었는데 혹시나 필요한 사람이 있을까봐 공유해본다) 예를 들어 사진들이 저장된 폴더가 있다고 해보자. 하지만 사진들의 파일명은 "202201302230.jpg" 등과 같이 중구난방으로 저장되어 있는 경우가 많다. 이럴 경우 여러 사진 파일명들을 일관되게 정리하고 싶을 때가 있다. 예를 들어 해당 폴더 속의 모든 사진들을 "JEJU1.jpg" "JEJU2.jpg" "JEJU3.jpg" 등으로 정리하면 보기가 훨씬 좋을 것이다. 본 프로그램은 이처럼 특정 폴더 내의 파일 이름들을 정리 할 수 있도록 해주는 프로그램이다. 특히 사진의 개수가 많을 경우 유용할 것으로 기대된다. 2. 사용법 (프로그램 링크) https:..
1. 개요 사용자로부터 특정 개수 (5개 정도)의 선호하는 영화를 선택받으면, 해당 사용자가 좋아할만한 영화를 추천해주는 영화 추천 시스템을 만들었다. 영화를 추천해주는 방법은 아래와 같이 2가지가 있다. 1) 사용자가 선호하는 영화와 유사한 영화를 추천 2) 다른 사용자들의 평가를 바탕으로 선호할만한 영화를 추천 코드는 아래에서 확인할 수 있다. https://github.com/godeastone/movies-recommendation 2. Abstract 본 프로젝트에서는 사용자가 선호하는 영화 5개를 바탕으로 간단하게 사용자에게 볼만한 영화를 추천해주는 시스템을 제안한다. 본 시스템은 크게 2가지 방식으로 영화를 추천한다. 첫번째 방식은 사용자가 선택한 영화와 자주 같이 시청된 영화들 중, 비슷한..
1. PCA (주성분 분석) PCA는 대표적인 dimensionality reduction (차원 축소)에 쓰이는 기법으로, 머신러닝, 데이터마이닝, 통계 분석, 노이즈 제거 등 다양한 분야에서 널리 쓰이는 녀석이다. 쉽게 말해 PCA를 이용하면 고차원의 데이터를 낮은 차원의 데이터로 바꿔줄 수 있다는 것인데, 중요한 것은 "어떻게 차원을 잘 낮추느냐" 이다. 예를 들어 아래 [그림 1] 에서 왼쪽에 있는 2차원 데이터를 오른쪽에 있는 1차원 데이터로 바꾼다고 생각해보자. 아무리 잘 바꾼다고 하더라도, 2차원의 데이터의 특징을 모두 살리면서 1차원의 데이터로 바꿔줄수는 없을 것이다. 그렇다면 차선책으로, 모든 특징을 살릴 수는 없을지라도 최대한 특징을 살리며 차원을 낮춰주는 방법을 고안하기 시작했고, 그..
논문 제목 : Detecting Credential Spearphishing Attacks in Enterprise Settings 0. Abstract 본 논문에서는 enterprise 환경에서 credential spearphishing 공격을 탐지하는 새로운 방안을 제시한다. 제안된 시스템에 사용된 feature는 spearphishing 공격의 특징을 반영한 feature를 사용하며, 새로운 non-parametric anomaly scoring technique 기술과 결합하여 사용한다. 본 시스템을 수년간 수집된 수신 이메일 데이터셋에 적용하여 평가한 결과, 다양한 spearphishing 공격을 탐지할 수 있었으며, 또한 본 시스템의 FP rate가 매우 낮아 실용적이며, 기존의 방법보다 훨..