キカベン
機械学習でより便利な世の中へ
G検定対策
お問い合わせ
   

第3次AIブーム:機械学習・深層学習

thumb image

1. 学習目標🔝

機械学習、ニューラルネットワーク、ディープラーニングの研究と歴史、それぞれの関係について学ぶ。

  • データの増加と機械学習
  • 機械学習と統計的自然言語処理
  • ニューラルネットワーク
  • ディープラーニング

キーワードビッグデータレコメンデーションエンジンスパムフィルター統計的自然言語処理コーパス人間の神経回路単純パーセプトロン誤差逆伝播法自己符号化器ILSVRC特徴量次元の呪い機械学習の定義パターン認識画像認識特徴抽出一般物体認識OCR

2. データの増加と機械学習🔝

機械学習は人工知能の一種です。

  • データから学習するプログラム
  • データの数が多いほど予測精度が上がりやすい

機械学習は文字認識などのパターン認識の分野で古くから研究されてきた技術。

時系列イベント説明
1951年k近傍法
(k-nearest neighbor)
最も近い訓練例に基づいた分類の手法。
また、回帰分析にも使われる。
第1次AIブーム:推論・探索の時代(1950年代後半〜1960年代)
1956年ダートマス会議ジョン・マッカーシーが「人工知能」という言葉を初めて使う。
1958年単純パーセプトロンフランク・ローゼンブラットによる元祖ニューラルネットワーク。
1958年ロジスティック回帰モデルは単純パーセプトロンと等価。
1963年決定木(回帰木) 
(regression tree)
決定木を実数値を取る関数の近似に用いる。
1963年線形サポートベクターマシン
(linear SVM)
線形分類器
1967年k-平均法
(k-means)
データをk個のクラスタに分類する。
冬の時代❄️(1970年代)
1972年決定木(分類木)
(classification tree)
決定木を分類に用いる。
1975年遺伝的アルゴリズム
(genetic algorithm)
偶然の要素で「個体」を複数用意し、適応度の高い個体を
優先的に選択し交叉突然変異の操作を繰り返し解を探索。
第2次AIブーム:知識の時代(1980年代)
1990年世界初のウェブページティム・バーナーズ=リーによる。
1992年非線形サポートベクターマシン
(non-linear SVM)
非線形分類問題にも優れた性能を発揮
冬の時代❄️(1995年ごろから)
1998年Googleが法人化Amazon.com創業者ジェフ・ベゾスらの出資を受ける。
第3次AIブーム:機械学習・特徴表現学習の時代(2010年〜)
2011年ワトソンがジョパディーで優勝軽量オントロジーによるIBMのエキスパートシステム。

こうしてみると、機械学習は、それほど多くのデータを必要とせず、アルゴリズム中心に発展してきたのがわかります。

ちなみに、OCRパターン認識人工知能コンピュータビジョンなどの影響を受け発展した。シンギュラリティの予測で有名なレイ・カーツワイルはあらゆる書体を読み取れるOCRの開発を行う Kurzweil Computer Products, Inc. を1974年に創業した。

近年、インターネットとビッグデータ(大容量のデータ)の普及によって機械学習の実用的な用途が増えました。

機械学習の実用化説明
レコメンデーションエンジンユーザーの購買傾向・嗜好を推測する
スパムフィルター迷惑メールを検出する
統計的自然言語処理膨大な対訳データ(コーパス)から正しい確率が高い訳を選ぶ。

3. ニューラルネットワーク🔝

ニューラルネットワークは機械学習の一種で、人間の神経回路を真似して学習できるようにするものです。

3.1. 単純パーセプトロン🔝

1958年にアメリカの心理学者フランク・ローゼンブラットが提案した単純パーセプトロンがニューラルネットワークの元祖です。複数の入力値を受け入れて一つの値を出力します。

単純パーセプトロンは入力層と出力層のみの2層からなる。線形分離可能な問題を有限回の反復で解くことができる。

下図は単純な例で、2つの入力値から出力値として0か1を返します。

3.2. 単純パーセプトロンの限界🔝

1969年にマービン・ミンスキーシーモア・パパートが単純パーセプトロンは線形分離可能なパターンしか識別できない事を示した。この後、第1次AIブームの熱が冷め、冬の時代になったと言われています。

4. ディープラーニング🔝

4.1. 多層パーセプトロン🔝

単純パーセプトロンの限界を克服するために、ニューラルネットワークに隠れ層を追加したものを多層パーセプトロンと呼びます。また、4つ以上の層(入力層と出力層と2つ以上の「隠れ層」)からなるニューラルネットワークをディープニューラルネットワークと呼びます。

ジェフリー・ヒントンの研究チームが2006年に考案した自己符号化器(オートエンコーダー)では、3層ニューラルネットを使い、入力層と出力層に同じデータを用いて教師なし学習を行なった。

このディープニューラルネットワークを使った機械学習をディープラーニング(深層学習)と呼びます。これによって線形分離不可能なパターンの識別ができるようになりました。

学習の際に誤差逆伝播法(バックプロパゲーション)を使うのですが、初めは学習精度を上げるのが困難でした。後に活性化関数の研究などを経て層を深くしても学習することが可能になりました。

また、コンピューターによって画像中に写っているものを認識することを一般物体認識と呼びます。認識結果をどのような形式で出力するかによって3つに大別されます。

データ量の増加とハードウェアの処理能力の向上により、ディープラーニングがより現実的になってきました。

4.2. ILSVRC🔝

ILSVRC(ImageNet Large Scale Visual Recognition Challenge)は画像認識の精度を競うコンペです。1000万枚の画像データを使って学習した成果を15万枚のテスト画像による正解率で競いました。

2011年のILSVRCまではディープラーニングは使われていませんでした。機械学習の特徴量は人間が決めたものを使っていました。

2012年にカナダのトロント大学からジェフリー・ヒントンが率いるチーム「SuperVision」がディープラーニングを使ったAlexNetで第2位(東大のISI)を大きく引き離して優勝しました。AlexNetの名前の由来は大学院生だったAlex Krizhevskyです。同じチームにIlya Sutskever(現OpenAIのチーフ・サイエンティスト)もいました。

ディープラーニングを使うことで特徴抽出を自動で行う方法が人間が考えた特徴量による機械学習よりも優秀であることが証明されました。これを機に、画像認識ではディープラーニングを使うのが一般的になり、2015年にはMicrosoftのResNetが人間の認識率を超えました(トップ5エラーが4%以下になった)。



コメントを残す

メールアドレスは公開されません。