'세계정복의주인장'에 해당하는 글 947건

1. hello, ml engine
    tf.estimator()
    결국 ml 쓰세요!! 정말 좋아요!!! (근데 많은 기업들이 사용하는듯 하다.. 특히 게임쪽)


2. 딥러닝의 기저, 함수근사화 및  활용
   머신러닝 - 데이터에서 가치를 찾아내는것
   딥러닝 - 머신러닝중 신경망을 이용해서 학습하는것
                신경망== 20년전에 망함(그래서 단어를 안씀)
                대신 사용하는것 딥러닝 (신경망대신 DNN/NN 대신 딥러닝)

    DNN — 어떠한 함수라도 근사화 할수 있다 (입출력만 있다면!!)
             - 입출력 쌍을 반복적으로 제공하여 내부를 업데이트
             - 충분한 입출력 데이터(빅데이터)와 대량의 컴퓨터 필요

슈퍼바이블링 == 지도학습
고양이는 고양이야
개는 개야 
입력 데이터를 사람이 선별해서 넣어줌 == 단가 상승!!


현실에선
입력데이터는 많지만 아웃풋이 어려움(알수가 없음)
주기성 데이터(입력데이터)를 가공해야 한다. 

하이퍼파라미터??

GAN( 최대 최소 값의 밴드를 통해서 그 사이값은정상으로 한다)
정상의 데이터에 노이즈(랜덤)을 넣어서 계속 학습하면 최대/최소값이 도출됨 이것을 밴드값으로 설정한다. 


3. 거래 네트워크와 유저 행동 패턴 분석을 통함 작업장 탐지
 - 오토 계정과 부정 거래를 탐지하기 위해서 각 유저별 특이사항별 행동 패턴을 분석. 
 - 돈을 옮기기 위해 싼 제품을 비싸게 판다거나
 - 갑자기 한계정으로 돈이 모인다거나
 - 지속적으로 같은 동작을 하는 유저들의 패턴 및 임계치들을 지속적으로 수정하여 패턴 수정)
 
 * 가장 힘든것은 오토들이 임계치를 정해서 행동을 반복하기 때문에 임계치를 설정하여 추려내면 안되며 해당 유저의 특이점(특정 행동)만으로 추려내야 한다 (이전 방식의 특정 임계치로 특정할수 없음)








'TIL' 카테고리의 다른 글

Google Next Extended Seoul 2018  (0) 2018.10.15
프로세스와 쓰레드  (0) 2018.07.30
mysql replication  (0) 2018.07.09
mysql fulltext  (0) 2018.07.09
ubuntu 14.04 mysql install  (0) 2018.07.05
elasticsearch  (0) 2018.06.30

WRITTEN BY
No.190
세계정복의 시작점

받은 트랙백이 없고 , 댓글이 없습니다.
secret

#!/usr/bin/env python

# coding: utf-8


# In[1]:



corpus = ['king is a strong man', 

          'queen is a wise woman', 

          'boy is a young man',

          'girl is a young woman',

          'prince is a young king',

          'princess is a young queen',

          'man is strong', 

          'woman is pretty',

          'prince is a boy will be king',

          'princess is a girl will be queen']



# In[2]:



print corpus



# In[7]:



def remove_stop_words(corpus):

    stop_words = ['is', 'a', 'will', 'be']

    results = []

    for text in corpus:

        tmp = text.split(' ')

        for stop_word in stop_words:

            if stop_word in tmp:

                tmp.remove(stop_word)

        results.append(" ".join(tmp))

    return results



# In[8]:



corpus = remove_stop_words(corpus)

print corpus



# In[10]:



words = []

for text in corpus:

    for word in text.split(' '):

        words.append(word)

        

words = set(words)


words



# In[12]:



word2int = {}


for i,word in enumerate(words):

    word2int[word] = i

    

sentences = []

for sentence in corpus:

    sentences.append(sentence.split())

    

WINDOW_SIZE = 2


data = []

for sentence in sentences:

    for idx, word in enumerate(sentence):

        for neighbor in sentence[max(idx - WINDOW_SIZE, 0) : min(idx + WINDOW_SIZE, len(sentence)) + 1]:

            if neighbor != word:

                data.append([word, neighbor])

                



# In[14]:



import pandas as pd

for text in corpus:

    print(text)

    

df = pd.DataFrame(data, columns = ['input', 'label'])



# In[15]:



df.head(10)



# In[16]:



df.shape



# In[17]:



word2int



# In[19]:



import tensorflow as tf

import numpy as np


ONE_HOT_DIM = len(words)


def to_one_hot_encoding(data_point_index):

    one_hot_encoding = np.zeros(ONE_HOT_DIM)

    one_hot_encoding[data_point_index] = 1

    return one_hot_encoding


X = []

Y = []


for x,y in zip(df['input'], df['label']):

    X.append(to_one_hot_encoding(word2int[x]))

    Y.append(to_one_hot_encoding(word2int[y]))

    

X_train = np.asarray(X)

Y_train = np.asarray(Y)


x = tf.placeholder(tf.float32, shape = (None, ONE_HOT_DIM))

y_label = tf.placeholder(tf.float32, shape = (None, ONE_HOT_DIM))



EMBEDDING_DIM = 2 


# hidden layer: which represents word vector eventually

W1 = tf.Variable(tf.random_normal([ONE_HOT_DIM, EMBEDDING_DIM]))

b1 = tf.Variable(tf.random_normal([1])) #bias

hidden_layer = tf.add(tf.matmul(x,W1), b1)


# output layer

W2 = tf.Variable(tf.random_normal([EMBEDDING_DIM, ONE_HOT_DIM]))

b2 = tf.Variable(tf.random_normal([1]))

prediction = tf.nn.softmax(tf.add( tf.matmul(hidden_layer, W2), b2))


# loss function: cross entropy

loss = tf.reduce_mean(-tf.reduce_sum(y_label * tf.log(prediction), axis=[1]))


# training operation

train_op = tf.train.GradientDescentOptimizer(0.05).minimize(loss)



# In[20]:



sess = tf.Session()

init = tf.global_variables_initializer()

sess.run(init) 


iteration = 20000

for i in range(iteration):

    # input is X_train which is one hot encoded word

    # label is Y_train which is one hot encoded neighbor word

    sess.run(train_op, feed_dict={x: X_train, y_label: Y_train})

    if i % 3000 == 0:

        print('iteration '+str(i)+' loss is : ', sess.run(loss, feed_dict={x: X_train, y_label: Y_train}))



# In[21]:



vectors = sess.run(W1 + b1)

print(vectors)



# In[22]:



w2v_df = pd.DataFrame(vectors, columns = ['x1', 'x2'])

w2v_df['word'] = words

w2v_df = w2v_df[['word', 'x1', 'x2']]

w2v_df



# In[25]:



import matplotlib.pyplot as plt


fig, ax = plt.subplots()


for word, x1, x2 in zip(w2v_df['word'], w2v_df['x1'], w2v_df['x2']):

    ax.annotate(word, (x1,x2 ))

    

PADDING = 1.0

x_axis_min = np.amin(vectors, axis=0)[0] - PADDING

y_axis_min = np.amin(vectors, axis=0)[1] - PADDING

x_axis_max = np.amax(vectors, axis=0)[0] + PADDING

y_axis_max = np.amax(vectors, axis=0)[1] + PADDING

 

plt.xlim(x_axis_min,x_axis_max)

plt.ylim(y_axis_min,y_axis_max)

plt.rcParams["figure.figsize"] = (10,10)


plt.show()



# In[24]:






# In[ ]:





'뇌세포덩어리"" > tensorflow' 카테고리의 다른 글

1. word2Vec  (0) 2018.10.08

WRITTEN BY
No.190
세계정복의 시작점

받은 트랙백이 없고 , 댓글이 없습니다.
secret


1. script 는 기본적으로 window 객체 안에서 돌아간다.

2. 로드된 스크립트들은 window객체 안에 있고, 모듈간의 의존성 문제, 변수 및 함수의 침범이 일어났다.

3. 이를 방지하기 위해 commonJS / AMD(Asynchronous Module Definition) 가 생겨났고, es6 또한 제공하기 시작

AMD              require([""], function(module) {})

CommonJS    var module = require("")

ES6                 import { module } from "";

4. 서로 지원하는게 달라서 춘추전국시대가 열림

5. 이 모든것을 통합 해주는 babel 등장 ( js 하위버전으로 변환까지 해줌 ) 으로 결국 모두 바벨 사용해야함.



- 읽어보기

https://blog.pigno.se/post/157992405313/%EC%9E%90%EB%B0%94%EC%8A%A4%ED%81%AC%EB%A6%BD%ED%8A%B8-%EB%AA%A8%EB%93%88-%EC%A0%9C%EA%B3%B5%EC%9D%84-%EC%9C%84%ED%95%9C-amd-commonjs-%EA%B7%B8%EB%A6%AC%EA%B3%A0-requirejs-%EC%86%8C%EA%B0%9C

https://d2.naver.com/helloworld/591319


# 결국 node는 commonjs / 웹팩은 AMD / 클라이언트 프레임워크 ES6를 선택...... 이게 무슨..

'web > javascript' 카테고리의 다른 글

javascript 의 모듈 제공 방법  (0) 2018.09.05
js regexp wrong results?  (0) 2018.05.03
overflow-x 된 DOM에서 마우스 휠로 좌우스크롤 움직이기  (0) 2016.06.29
javascript reduce  (0) 2016.06.10
javascrpt map  (0) 2016.06.09

WRITTEN BY
No.190
세계정복의 시작점

받은 트랙백이 없고 , 댓글이 없습니다.
secret



ERROR 1364 (HY000): Field 'ssl_cipher' doesn't have a default value


Mysql 버전이 높아지면서 보안관련 인한 오류


User 생성시 Host, User ,Password, ssl_cipher, x509_issuer, x509_subject 를 입력 필수


ssl_cipher, x509_issuer, x509_subject 값은 '' 빈값을 입력.



$ insert into user (Host, User, Password, ssl_cipher, x509_issuer, x509_subject ) values('localhost','사용자명',password('비밀번호'),'','','');




ERROR 1364 (HY000): Field 'authentication_string' doesn't have a default value


* mysql 5.5 에서 user 생성시 authentication_string 필드 추가 필수. '' 값으로 넣기.



$ insert into user (Host, User, Password, ssl_cipher, x509_issuer, x509_subject, authentication_string) values('localhost','사용자명', password('비밀번호'),'','','','');



WRITTEN BY
No.190
세계정복의 시작점

받은 트랙백이 없고 , 댓글이 없습니다.
secret

맥 화면분할 ShiftIt

os/Mac 2018.08.24 10:39

하아....신기하게 특정 프로그램을 열면 창이 이상한 곳으로 위치한다.

마우스를 아무리 당겨도 크기만 커질뿐... 창이 이동이 되질 않고, 최대화 모드 또한 막혀있다. (맥에서 지원하는 화면 분활도 막혀있다...) 이걸로 한시간동안을 시름하다가....


(나보고 어쩌라고!!!!)


맥에서 간단하게 프로그램의 화면 분활 및 이동을 해주는 프로그램을 찾아봤다. 

shift-it  다운로드!!

https://shift-it.en.softonic.com/mac


압축을 하고 더블 클릭으로 실행 후 권한을 설정해 줘야 한다. 


설정 -> 보안 및 개인정보 보호 -> 손쉬운 사용 -> shiftIt.app 클릭 

( 왼쪽 하단의 자물쇠를 먼저 풀어야 합니다.)


실행!!  메뉴바에 사용할수 있는 단축키와 기능들을 볼수 있다. 



중앙으로 와! (center 클릭!)


잘됨!!

자주 사용하신다면 어플리케이션 폴더에 해당 shiftIt.app을 넣어주시면 됩니다. 



'os > Mac' 카테고리의 다른 글

맥 화면분할 ShiftIt  (0) 2018.08.24
NVM(Node Version Manager) mac install  (0) 2018.08.19
Mac 쓰면서 소름 돋았음  (0) 2015.10.04
mac mysql 설치 및 구동  (0) 2014.07.27
-bash: brew: command not found (for mac)  (0) 2014.06.13
eclipse 메모리 사용량 확인  (0) 2014.06.04

WRITTEN BY
No.190
세계정복의 시작점

받은 트랙백이 없고 , 댓글이 없습니다.
secret

SET sql_mode = ''


or


set global sql_mode='STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION';



WRITTEN BY
No.190
세계정복의 시작점

받은 트랙백이 없고 , 댓글이 없습니다.
secret

sudo apt-get update

curl -sL https://deb.nodesource.com/setup_8.x | sudo -E bash -

sudo apt-get update && sudo apt-get install yarn

sudo apt-get autoremove

sudo apt-get install -y build-essential

sudo apt-get install -y nodejs


'os > 리눅스' 카테고리의 다른 글

ubuntu init && node install  (0) 2018.08.19
ubuntu port forwarding  (0) 2018.08.15
ubuntu jupyter 설치  (0) 2016.08.26
ubuntu 14.04 install ffmpeg  (0) 2015.06.30
linux sync time utc  (0) 2015.05.07
How do I kill all screens?  (0) 2014.10.21

WRITTEN BY
No.190
세계정복의 시작점

받은 트랙백이 없고 , 댓글이 없습니다.
secret


 다운로드 / 설치 

$ sudo curl -o- https://raw.githubusercontent.com/creationix/nvm/v0.33.1/install.sh | bash


환경설정 수정

$ vi ~/.bash_profile


추가 후 저장 

export NVM_DIR="$HOME/.nvm"

[ -s "$NVM_DIR/nvm.sh" ] && . "$NVM_DIR/nvm.sh" # This loads nvm


source ~/.bash_profile


설치 확인 

$ nvm ls

->       system

node -> stable (-> N/A) (default)

iojs -> N/A (default)



원하는 버전 설치 

$ nvm install 7


확인 

$ nvm ls

->      v7.10.1

         system

default -> 7 (-> v7.10.1)

node -> stable (-> v7.10.1) (default)

stable -> 7.10 (-> v7.10.1) (default)

iojs -> N/A (default)

lts/* -> lts/carbon (-> N/A)

lts/argon -> v4.9.1 (-> N/A)

lts/boron -> v6.14.4 (-> N/A)

lts/carbon -> v8.11.4 (-> N/A)


$ node -v

v7.10.1


'os > Mac' 카테고리의 다른 글

맥 화면분할 ShiftIt  (0) 2018.08.24
NVM(Node Version Manager) mac install  (0) 2018.08.19
Mac 쓰면서 소름 돋았음  (0) 2015.10.04
mac mysql 설치 및 구동  (0) 2014.07.27
-bash: brew: command not found (for mac)  (0) 2014.06.13
eclipse 메모리 사용량 확인  (0) 2014.06.04

WRITTEN BY
No.190
세계정복의 시작점

받은 트랙백이 없고 , 댓글이 없습니다.
secret


80 -> 8080

iptables -t nat -A OUTPUT -o lo -p tcp --dport 80 -j REDIRECT --to-port 8080


'os > 리눅스' 카테고리의 다른 글

ubuntu init && node install  (0) 2018.08.19
ubuntu port forwarding  (0) 2018.08.15
ubuntu jupyter 설치  (0) 2016.08.26
ubuntu 14.04 install ffmpeg  (0) 2015.06.30
linux sync time utc  (0) 2015.05.07
How do I kill all screens?  (0) 2014.10.21

WRITTEN BY
No.190
세계정복의 시작점

받은 트랙백이 없고 , 댓글이 없습니다.
secret

Create Record Set -> Alias Target ->  s3 no targets available


route53을 통해서 s3버킷을 연동하려 할때  무슨 짓을 해도 s3의 end point 가 no targets available가 나온다면 


1. 진지하게 브라우져 캐쉬를 날려보길 바란다. (cmd + shift + r // ctrl + shift + r)


2. route53의 A레코드에 입력한 서브도메인과 s3버켓에 입력한 도메인이 같아야 한다. 


그러면 보인다.... (이걸로 2시간 날렸다... 시발 아마존..이걸 캐쉬를 거냐..)


'aws' 카테고리의 다른 글

route53 s3 no targets available  (0) 2018.08.11
aws s3 권한 설정  (0) 2018.08.10
aws cloudWatch 알림 설정  (0) 2018.08.09

WRITTEN BY
No.190
세계정복의 시작점

받은 트랙백이 없고 , 댓글이 없습니다.
secret