【図解】ディープラーニングの起源であるパーセプトロンとは？【連載①】
こんにちは。あつかんです。
近年話題の人工知能の一種であるDeep Learning。
理系の血が騒ぎ、これは勉強しなければならないという使命感にかられたため、現在、ゼロから作るDeep Learningという本を読んでいます。
学んだことの知識整理と情報共有のためにブログにまとめていこうと思います。
だれにでもわかるように書いているつもりです(; ･`д･´)
パーセプトロンとは？
パーセプトロンとは、ローゼンブラットというアメリカの研究者によって考案されたアルゴリズムです。
パーセプトロンはディープラーニングの起源となるアルゴリズムであるため、ディープラーニングを学ぶためにはパーセプトロンの仕組みを理解しなければなりません。
ここでは、パーセプトロンについて説明をしていこうと思います。
パーセプトロンは複数の信号である入力を受け取り、ある一つの信号を出力します。
信号とは「1」と「0」の二値です。
次に二つの信号を受け取り、一つの信号を出力するパーセプトロンのモデルを図で示します。
この図のx1とx2は入力、yは出力です。
w1とw2は重みを表しています。
〇がいわゆるニューロン（ノード）です。
入力信号はニューロンに送られた後に、それぞれの重みで乗算されます。
そして、送られてきた信号の総和を計算し、yとして計算します。
つまり、
y=x1w1+x2w2
となります。
そして、そのyが任意で設定した限界値（閾値）θを超えていた場合のみ1を出力します。
これを「ニューロンの発火」と呼びます。
これを式で表すと以下のようになります。
x1w1+x2w2<=θの時
y=0
x1w1+x2w2>θの時
y=1
一般的にはθ = -bと表され、以下のように上記の式を変形できます。
b+x1w1+x2w2<=0の時
y=0
b+x1w1+x2w2>0の時
y=1
bをバイアスパラメータといいます。
表現としてはどちらも等価です。
ここまでがパーセプトロンの基本です。
次は実際にパーセプトロンを使って簡単な問題を考えてみます。
パーセプトロンで論理回路を表現
ここでは、論地回路のANDゲートについて考えてみたいと思います。
ANDゲートというものは左図のように表わされ、皆さんのスマホの中に集積回路としてたくさん入っている電子回路です。
これをパーセプトロンで表現していきます！
ANDゲートは2入力1出力で二つの入力信号が1の時だけ1を出力し、それ以外は0を出力します。
入力に対する出力の関係表である真理値表を以下に示します。
| 入力 | 出力 | |
| x1 | x2 | y |
| 0 | 0 | 0 |
| 0 | 1 | 0 |
| 1 | 0 | 0 |
| 1 | 1 | 1 |
ここで、このANDゲートをパーセプトロンで表現していきたいと思います。
パーセプトロンのパラメータであるw1,w2,θの値を調整動作に基づき設定していきます。
例えば、適当に(w1, w2, θ) = (0.5, 0.5, 0.7)としたとしましょう。
入力が(x1, x2) = (0, 0)の時
x1w1 + x2w2 = 0*0.5 + 0*0.5 = 0 <= θ
となり総和が閾値を下回っているため0を出力します。
入力が(x1, x2) = (0, 1)の時
x1w1 + x2w2 = 0*0.5 + 1*0.5 = 0.5 <= θ
となり総和が閾値を下回っているため0を出力します。
入力が(x1, x2) = (1, 0)の時
x1w1 + x2w2 = 1*0.5 + 0*0.5 = 0 <= θ
となり総和が閾値を下回っているため0を出力します。
入力が(x1, x2) = (1, 1)の時
x1w1 + x2w2 = 1*0.5 + 1*0.5 = 1.0 > θ
となり総和が閾値を上回っているため1を出力します。
ちなみに Pythonで書くとこんな感じです。
# coding: utf-8 import numpy as np
def AND(x1, x2): x = np.array([x1, x2]) w = np.array([0.5, 0.5]) b = -0.7 tmp = np.sum(w*x) + b if tmp <= 0: return 0 else: return 1
if __name__ == '__main__': for xs in [(0, 0), (1, 0), (0, 1), (1, 1)]: y = AND(xs[0], xs[1]) print(str(xs) + " -> " + str(y))
このように(w1, w2, θ) = (0.5, 0.5, 0.7)と設定した場合は、真理値表通りの出力が得られたので、パーセプトロンでANDゲートを表現できたことになります。
また、(w1, w2, θ) の選び方は、無数に存在します。
例えば、(w1, w2, θ) = (0.59786, 0.3432425, 0.7123131)としても、ANDゲート同じ表現になります。
つまりパーセプトロンというのは、何か入力を与えたらこの入力に対する出力の判断をニューロンが行い応答するという作業をしています。
これはAIの得意とする画像認識の処理に似ています。
例えば、以下の画像のように猫の画像を入力したとします。
ニューロンは入力信号である猫の画像に対して何か判断を行います。
猫だと判断されれば、yで猫である確率が高いといった判断をします（かなり、強引ですが）。
そのためには、猫に対応する適切な重み(w1, w2, θ)を設定しなければなりません。
猫に対応する適切な重みは何か？
知りません笑
重みの設定方法について
では、(w1, w2, θ) はどのように設定するのか？という疑問がわくと思います。
重みはデータから学習させて設定させていきます。
パーセプトロンでは学習できません。
パーセプトロンをニューラルネットワークに拡張することによって学習できます。
ニューラルネットワークは、適切な重みパラメータをデータから自動で学習できるという性質を持っています。
次のブログではニューラルネットワークの基礎と、重みの学習について書いていこうと思います！
では！
次の連載はこちらです。
【AI】カプセルネットワークとは？【元論文あり】
どうも、あつかんです＿φ(￣ー￣ )
本日以下のニュース記事を拝見しました。
これを見た瞬間、ニューラルネットワークを超えるものがとうとう出てきたか！Googleさんやべええええ！という印象をうけました。
Twitterでも様々な反応が。
ニューラルネットワークでさえできてないのにカプセルネットワークとか
— zeriiido (@zeriiiiiiiiiido) 2017年11月28日
カプセルネットワークってなんなんだろう、すごい可能性が高いって感じの理解しかできなかった
— 龍之介 (@spicyspyigo) 2017年11月28日
ニューラルネットワークはここ数年で、急速な発展を遂げ、Deep MindのAlpha Goは、囲碁で世界一の棋士に勝ち、IBMのWatsonは専門医でもできなかった白血病の型の特定までをもしています。
そして、そのニューラルネットワークよりも高い性能を示すカプセルネットワークというものが発表された。
いや〜徐々にシンギュラリティ―が近づいてますね～～。
ちなみにシンギュラリティーとは、人工知能が人間の能力を超え、人間の文明に計り知れない変化をもたらすという仮説のことです。
はやく、シンギュラリティー来ないかなw
元論文
カプセルネットワークについて調べたくなったので元論文を探したところ、ありました。↓
http://papers.nips.cc/paper/6975-dynamic-routing-between-capsules.pdf
とりあえず、アブストを日本語訳しておきますね。
------------------------------------------------------------------------------------
カプセルは、オブジェクトまたはオブジェクト部分などの特定のタイプのエンティティのインスタンス化パラメータを表すアクティビティベクトルを持つニューロンのグループです。
エンティティが存在する確率とインスタンス化パラメータを表す向きを表すために、アクティビティベクトルの長さを使用します。
あるレベルのアクティブなカプセルは、より高いレベルのカプセルのインスタンス化パラメータに対して、変換行列を介して予測を行います。
複数の予測が一致すると、より高いレベルのカプセルがアクティブになります。
我々は、識別可能に訓練された多層カプセルシステムが、MNISTにおいて最先端の性能を達成し、非常に重複する数字を認識する際に畳み込みネットよりもかなり優れていることを示す。
これらの結果を達成するために、我々は反復的なルーティング・アグリーメントメカニズムを使用します。
低レベルのカプセルは、低レベルのカプセルから来る予測を伴う大きなスカラ積を持つ高次のカプセルにその出力を送ることを好む。
------------------------------------------------------------------------------------
よくわからんな～～～
検索したら分かりやすい説明があった↓
つまり、カプセルの中にニューロンが詰められていて、そのカプセルで自己学習を促進していくと、従来法よりも良い結果が得られたわけですね。
カプセルネットワーク(CapsNet)のGitHubがあったので載せておきます。
.....なるほどわからん笑
YouTubeの解説動画
わかんなかったので、YouTubeで調べてみた。
ん～～～なんとなく。。。。
AIの専門家助けて(T ^ T)w
結局、なにがよくなったの？
従来法であるニューラルネットワークはあるモノを別の新しい視点から見ても同じものだと判断する作業はあまり得意ではないです。
例えば、ある猫がいたとして、猫の顔写真をみせたらニューラルネットワークは猫だと判断できました。
しかし、別視点から撮った猫の画像をニューラルネットワークに判別してもらうという作業をしてもらうと、良い結果は得られないということです。
人間であれば、猫の様々な別視点の画像をみたとしても、猫として認識できますよね。
それがカプセルネットワークだとできる。
カプセルネットワークでは、あるものを別視点から見た画像の情報の間を埋め、今までのニューラルネットワークでは難しかった新たな場面の判断を可能にするとのことだそう。
これってすごいですよね。
具体的な方法はよくわかんないから、勉強が必要だなー。
カプセルネットワークはディープラーニングが元になっているため、理解するためにはディープラーーニングの勉強が必要ですね。
ちなみに、ディープラーニングを勉強する際にオススメの本はこちらです。
【思考実験】終わりを思い描くことからはじめる【7つの習慣】
世界中でベストセラーとなっている本に「７つの習慣」があります。
今回はその本を読んでみて一番心に残った言葉を紹介していこうと思います。
心に残った言葉、、、、
それは、、、
終わりを思い描くことから始めるです。
わたしはこの言葉のおかげで、今自分が何をするべきかのヒントをもらえたと思います。
終わりとは？
終わりというのは自分の人生の終わりのことです。
つまり”死”です。
死が最終的なゴールになります。
思考実験
では、さっそくこのブログを読んでいただいているあなたも”終わりを思い描くことから始める”という思考実験をやってみましょう。
その方法を以下に具体的に示します。
精神的に少しきつい思考実験なので、あまり無理をせずにw
初めに、だれにも邪魔をされない一人ボッチの環境をつくってください。
TVなどの音がでる機器も消しましょう。
ではまずは、あなたの親しい方の葬儀に参列する場面を思い浮かべてみてください。
思い浮かべましたか？
では、次に行きましょう。
お線香をあげに、棺桶の前に行きます。
そして飾っている写真をふと見ました。
その写真に写っているのは、あなたでした。
そうです。これはあなたの葬式なのです。
葬式では、様々な人が弔辞を
述べます。
家族。
親戚。
友人。
仕事関係の人。
などなど・・・
ここで、よく考えてみましょう。
集まってくれた方に何と言ってほしいですか？
あなたの人生について、何を語ってもらいたいですか？
あなたはどんな風に見られたかったですか？
あなたは周りの人にどんな影響を及ぼしていたかったですか？
わたしだったら、「優しい人だった」「頼れるひとだった」「親孝行者だった」「
あなたのおかげで私の人生は良い方向に変わった」などという言葉をいわれたいです。
思考実験を終えて
さて、いまのあなたは『上記の問いに対する答えのような存在』になれていますか？
なれていなかったら、それになろうと努力していますか？
終わりを思い描くことで、目指すべきことの方向性が決まります。
その方向性を定めずに、適当に生きていたら様々な方向に発散している可能性があります。
これではゴールから遠ざかるばかりです。
大体の方向が決まってしまったら、それに向かって紆余曲折しながらもいずれかはその方向にあるゴールにたどり着きます。
今何をすべきかわからずに悩んでいる方がいたら、ぜひ終わりを思い描くことから始めるという作業をやってみましょう。
なにかのヒントを得られると思います。
それでは( ｀ー´)ノ
大学の研究室は社会の縮図？研究室生活の重要性について
こんにちは、あつかんです。
私は現在東京でバリバリ理系大学院生をしています。
研究分野はロボットの自律移動に関する研究です。
ちなみに修士２年です。来年就職。。。
就職先はみなさんが知っていると思われる大手企業です。
その就職先で修士1年のころにインターンシップをしてました！
インターンシップでは約一か月間働いてきました。
実際の社員さんと変わらないような業務を行いました。
いや～大変だったな( ；´Д｀)
でもいい経験！
そして実際に働いてみてふと思いました。
研究室生活と社会人生活って意外と似通ってるな~。
研究室生活って超重要だな~と。
それらについて、具体的に学生目線で記していきたいと思います。
インターンシップ先で実際に働いてみて思った研究室との共通点
・研究
・毎週ミーティング
・成果が求められる
・事務的な作業
・上下関係
・プレゼン
・報告書作成
・勉強会
ここまでくると違いはなに？ってなると思います。
個人的に思った違いは抽象的ですけど、責任感と規模感くらいですかね。
ほかにも色々あると思いますがあくまでも個人的な意見です。。。
でも、その違いが結構大きいと思います。
この結果から、大学の研究室でやることは結局社会人になってもやるってことがわかりました。
つまり、研究室生活は重要。
社会人になる前に社会人の予行演習を行えるみたいな感じ。
次に研究室で培ってきた経験がなぜ重要かについて記していきます。
社会人になる前に役立ちそうな経験
毎週のミーティング
ミーティングの際に研究の進捗報告をしているんですけど、その時に教授に対して自分の意見がどのように説明したらうまく伝わるか？などを考えながらやっています。
時間の制約もあるので伝えたいことが多いときはしっかりまとめないといけません。
それが毎週ある。
毎週、結構な負荷がかかります。
でも、その負荷のおかげで成長はできていると思います。
プレゼン
研究成果がでると学会へいきます。そして自分の研究に関する分野や他分野の方も含めた人たちに対してプレゼンをします。
つまり、今回は教授相手にではなく全くの素人に対しても相手をしなければならない。
素人の方に複雑な研究の説明をし、理解させるのは相当難しいです。
しかし、何としてでも理解させなくてはならないんです！！
そこで、客観的な目線に立って資料を作るっていう能力が求められます。
それと、プレゼン資料作成スキルも求められます。
一枚のスライドにたくさんの文字を書いていては、情報量が多すぎてわかりづらいスライドになってしまいます。
簡潔にかつ重要な事項のみを記載し、他は言葉で補うといったことが求められます。
上記で述べた能力は研究室生活で鍛えられます。
上下関係
教授（研究室）＝社長（会社）
先輩（研究室）＝上司（会社）
後輩（研究室）＝部下（会社）
といったような関係が研究室には存在します。
この点はまさに社会の縮図を表していますねｗ
つまり、すでに小さい会社で働いているようなイメージです。
社会人になる前に役立つ点は後輩に対して指導や面倒をできるってことだと思います。
自分はこの環境のおかげで、後輩に対して答えをすぐには教えずに少しヒントを与え、考えさせて答えを後輩自ら導き出させる重要性に気づきました。
このことにより、今後後輩が困難にぶつかったとしても、自ら壁を突破できる能力がつくからです。
すぐに答えを教えていては、その場しのぎですしね。
先のことを考えた結果、少し時間はかかりますが上記のような応用力は大切です。
最後に
このように、社会人になる前に社会人に必須なスキルは研究室で鍛えられます。
なんせ研究室は社会の縮図ですから( ﾟДﾟ)！
自分は研究室生活という貴重な経験をできているので、とても恵まれているな～～。（奨学金の返済がつらいけど、、、ｗ）
【２０１７】インフルエンザ予防接種の時期と効果
予防接種の効果
インフルエンザワクチンは打ってすぐに効果が期待できるものではなく、接種後３週間程度で抗体ができます。
免疫がついてから３ヶ月間、９０%以上の予防効果、３〜５ヶ月で約７０％以上、５ヶ月目以降でも約５０％の効果を期待できます。
予防接種の時期
理想の接種時期は１０月で、インフルエンザA型の流行後にやってくるB型にも十分に対応できそうですね。
１２歳以下の子供さんは２回のワクチン接種が必要です。１回目と２回目の間隔は、約３週間空けての接種が望ましいです。なので、理想の接種時期は１０月頭に１回目、３週間後に２回目を接種されてはいかがでしょうか。
予防接種の値段
インフルエンザ予防接種の自費代は都内の医療機関で３５００円前後が妥当だと思われます。年々、ワクチンの生産に遅れが出てきているので、一度、医療機関へ問い合わせて金額等確認して、在庫の取り置きができる所があれば安心ですね。
接種時、接種後の注意
インフルエンザのワクチンは筋肉注射なので多少痛みは感じると思います。注射苦手な方やお子さんは針を刺している時間を１秒でも短く早く済ませたいと考えますが、その分ワクチンが勢いよく注入されるので、痛みが余計に増します。なので、痛みを最小限に抑えたいのであればゆっくり注入してもらうことですが、それを泣きわめく子供さんに説得している暇なんてないですね笑
接種後は揉まないようにしましょう。当日はシャワーのみで湯船は避け、アルコールも我慢です。激しい運動も避け、安静に過ごしましょう。
接種後も鈍痛がしばらく続きます。赤みや腫れ、痒みが数日続くのも珍しくないことです。毎年ワクチンの成分が同じわけではないので、過去に副反応を感じたことない方でもしばらく観察が必要です。
おすすめの予防対策
インフルエンザの予防には予防接種が１番の対策ですが、中には接種したにも関わらずインフルエンザに感染してしまった過去がある方いらっしゃると思います。
そういう方に是非試して頂きたいのが、明治ヨーグルト『R-1』。
免疫力を高めてくれるので、インフルエンザに限らず感染予防効果が期待できます。
ここ数年、毎年一定の時期にマイコプラズマ肺炎に感染して苦しんでいた友人がいましたが、毎日摂取し続けた結果、昨年は感染せずに過ごせたとのこと。
毎日ヨーグルト食べ続けるのは大変だと思うので、ドリンクタイプの『R-1』を１日１本、根気よく飲み続けてみてはいかがでしょうか。
やることが多すぎて作業が進まないあなたへ
やらなければならないことが多すぎて混乱してなかなか作業が進まないときってありますよね。
これは目の前に選択肢が多すぎると、脳が混乱して集中できないからだそうです。
何をやればいいかを考えているうちに時間だけが過ぎていき、何も手つかずになり時間の無駄になってしまう。
考えている間にやる気も落ちて、なんとな～くSNSやゲームなどをしてしまう。
この現象は、なにも考えずにとりあえず大型ショッピングモールなどに行ったとき、なにも買わずにぶらぶらして帰るっていう現象に似ていますね。
自分もよくそのような状況に陥ったことがあります。笑
今回はそんな時、どのように対処すべきかについてまとめていこうと思います。
すごく単純なことなんですけど、効果はあります。
おそらく、仕事の進め方がうまい人はやっていて、仕事の進め方が下手な人はやっていないことだと思います。
- まずは今やるべきことを全て書き出す
- 必要でないタスクを削除
- 書き出したことに優先順位をつける
- 他の作業のことは何も考えずに上から一つ一つ上から取り掛かる
- 定期的にやるべきことリストを見直す
- 人を頼る
- 最後に
まずは今やるべきことを全て書き出す
やることが多いときは、いまやるべきことをメモ帳などにすべて書き出していきましょう。
適当でいいんで思いつくだけ書いて下さい。
必要でないタスクを削除
書き出した作業のすべては本当にやるべきことですか？
もし、今はやるべきことではないものがあったら除外していきましょう。
書き出したことに優先順位をつける
やるべきことの緊急度、重要度を考慮して順番をつけましょう。
優先順位が被りそうなタスクがあったら、やりたくない方を上位にもっていきましょう。
ただ、上位にやりたくないことが集まってしまっては、なかなかその作業をやる気にはなれませんよね。
そんな時はあえて上位に簡単な作業を途中に挟むこともおすすめです。
そうすると、タスクが減っていくのが目に見えるため、少しでも前に進んでいる状況に持っていけるので、"やるべきことを全て終了させるというゴール"に向かっているという実感がわいて気持ちいいです。
この時点で紙にやるべきこととその優先順位が書いてあるので、もう頭の中でなにをやればいいんだ～という思考が必要になりません。
これにより、パンク状態の頭を開放させます。
他の作業のことは何も考えずに上から一つ一つ上から取り掛かる
まずは、何も考えずに優先順位の高いものから取り組んでいってください。
その作業が終わったら、その作業項目を消し、次の作業に取り掛かる。
あとはこれを繰り返すだけです。
定期的にやるべきことリストを見直す
書き出されたタスクの優先度、重要度は常に一定ではなく、日によって変わっていく可能性はあります。
そのため、定期的にやるべきことリストを見直して、必要であれば優先順位を入れ替えましょう。
人を頼る
やるべきことリストのタスクはすべて自分のみがやらなければならないものですか？
もし、人を頼れるような内容があったらそこは協力してもらい、自分にかかる負担を少しでも減少させましょう。
最後に
いかがでしたでしょうか？
やるべきことがたくさんあったら、いったん紙にまとめて優先順位をつける、そして一つ一つこなしていく、といったようなことはとてもシンプルなことであり重要なことです。
ぜひ、参考にしてみてください。
「忙しい」が口癖の人へ捧げる時間の作り方
最近カフェで、ブログを書いていたら隣の席の二人組が「あーーー、忙しいなーーー」「時間がない〜〜」って言ってたんですよね。
忙しいからなんだよ。
仕事ができるアピールかな？とか勘ぐってしまう。笑
実際、そーゆー人見ると、自己管理能力が不足しているのかなって思う。
だって、そんなこと言ってる人に限って仕事の段取りや要領が悪いんですよね。
そのせいで時間が無駄になっている。
つまり、
時間内に仕事を片付ける能力がない、かつ普段の生活に無駄な時間が多いからこそ、忙しそうに振舞ってるだけ
ですよね。
本当に、仕事ができる人は「忙しい」とか「時間がない」と言った言葉は口にはしないとおもうんですよ。
時間管理能力があり仕事の段取りもよくできる人は「忙しい」「時間がない」って言っている人よりも格段に忙しいはず。
なんせ、有能な人間なのだから様々な仕事を任せられちゃうわけだし。
でも、有能な人間は時間の使い方がうまいから、「忙しい」「時間がない」とも思わないんだろうな〜。
もし思ったとしても絶対言わないよね。無能を証明するようなものだし。
なので、いくら忙しくても「忙しい」「時間がない」といったようなネガティブワードを使うのはやめましょう！
そんなこと言ってる暇があったら、どうしたら時間を作れるのか？どうしたらもっと効率良く作業を進められるのか？ってことを考えてた方が有益です！
まぁ、ネガティブワードを使いたくなる気持ちはわかりますが、、、、。
そこで、この記事では時間の作り方を紹介していこうと思います！
時間の作り方
生活の自動化
自動化の例として洗濯機をあげます笑
昔は、洗濯機はなかったんですよ。
けど今はあります。
つまり現代人は、昔の人が洗濯を行うといった行為に費やしていた時間を新たに獲得できてるわけですよね？
つまり、作業の自動化により人間は時間を作り出せます。
自動化できるところはとことん自動化していきましょう！
具体例出すと、食洗機持ってない人は食洗機を活用するとかです！
朝活
早起きして朝の時間を使いましょう。起きられない？そこは頑張ってください笑
まずは今日は1日何やるかなどを決めると段取りがつかめるので快調な1日のスタートをきれますよね。
それと朝早く起きると、目が覚めるのも早くなるので仕事に対して覚醒した状態で取り組めます。その結果、作業効率が向上し無駄な時間が減ります。
悩まない！
そんなこといわれてもどうしても悩んじゃう時は悩んじゃいますよね。
重要な悩みに対しては悩んでもいいと思いますが、低レベルの悩みに対して悩むようなことはあまりしないようにしていきましょう！
低レベルの悩みっていうのは例えば、
・今日の靴下どうしよっかな〜
・今日の服装どうしよっかな〜
などです！
極力そのような悩みに対する時間は減らしていきましょう！
ちなみに、かの有名なスティーブジョブスは常に同じ格好をして仕事をしていたのは知っていますか？
その理由は、服装に対して悩む時間がもったいないからだそうです。
無駄なことは省く
普段の生活の中で無駄だと思うことをピックアップしてみてください！
意外とあります！
例えば、
・YouTubeを見る
・惰性でTVを鑑賞
・頻繁なSNSのチェック
などです。
それらをする頻度を減らして行きましょう。
以上、4つ紹介しました！
時は金なりです！時間を作って行きましょう！
