最弱ポータル自作日誌

自作ポータルとか自作ニュースサイトをコツコツ作るプログラマの作業記録

ゼロから適当に学ぶDeep Learningのリンク集

なかなか新しいこと勉強しないプログラマのおいら、AIはやろうかなと。遅いよ!

Deep Learning基礎

最初はきっとゼロからつくる系の一本でいってよい。他読んでもわからないし。ベストセラーになるには理由がわかる。ともかくリーダブルです。

ゼロから作るDeep Learning ? ―自然言語処理編

ゼロから作るDeep Learning ? ―自然言語処理編

自然言語は斜め読んだ。それで十分。詳細をわかりたくなったら読める。それがゼロから作るのいいところ。

こっちの1のほうもいいね、途中でやめたけど雰囲気をつかめる。

他の専門書って、数式振りかざすだけで、詳細を斜め読むこともできないから、結局わからない。ディテールを斜め読むと理解できる現象に名前をつけたい

Kerasをつかって手を動かしたい段階。ただしPythonを知らぬ。Haskellでやりたいのだが。コードをいくつも並行して眺める段階かな。自然言語処理がやりたい。なぜならこんな文章書きたくないからな。

適宜更新するリンク集になるかな。。だるかったら更新できない。

LSTM

Keras LSTMでサクッと文章生成をしてみる | cedro-blog

Keras LSTM の文章生成を単語単位でやってみる | cedro-blog

KerasのSingle-LSTM文字生成サンプルコードを解説 - Qiita

滝沢カレンを作る技術 - sola 初心者には図解が嬉しい

Text generation using a RNN with eager execution  |  TensorFlow Core

lstm_text_generation_comment/lstm_text_generation_refactored.py at master · YankeeDeltaBravo225/lstm_text_generation_comment · GitHub

おいおい、ユニットとか入力シェイプがわからないよ、公式もよくわからない

以下がわかりやすいにゃ

Keras input explanation: input_shape, units, batch_size, dim, etc - Stack Overflow

Dense Layer

全結合レイヤーらしい。行列のdot計算はするのか。

通常の全結合ニューラルネットワークレイヤー.

Denseが実行する操作:output = activation(dot(input, kernel) + bias)ただし,activationはactivation引数として渡される要素単位の活性化関数で,kernelはレイヤーによって作成された重み行列であり,biasはレイヤーによって作成されたバイアスベクトルです.(use_biasがTrueの場合にのみ適用されます). Coreレイヤー - Keras Documentation

イメージはこれかな。

Sample dense neural network with 2 fully connected layers, 2 dropout... | Download Scientific Diagram

ReLu

活性化関数のSigmoid、Tangent 、ReLu、Leaky ReLuの違い - Qiita

Simoid

SoftMax

こいつは活性化関数のReLuとかとは違うと理解した。確率化するためのレイヤーかな

Keras.NET

GitHub - SciSharp/Keras.NET: Keras.NET is a high-level neural networks API, written in C# with Python Binding and capable of running on top of TensorFlow, CNTK, or Theano.