機械学習アルゴリズム サポートベクターマシンとPython（基本編）

サポートベクターマシンとは

サポートベクターマシン（Support Vector Machine：SVM）というのは、機械学習のアルゴリズムのことで、今回取り上げる分類だけでなく、回帰という手法にも利用できる方法です。教師あり学習を用いたパターン認識モデルで、発表されたのは1963年でした。その後、コンピュータや機械学習が盛んになるにつれて非常によく使われるようになってきました。

単純化するとこのようなイメージになります。いくつかのデータがある中で、2つのクラスに分類することを考えます。すると、青色とオレンジ色のデータを区切る境界線を引くことになります。

すると、様々な角度での境界線が引けることになりますが、サポートベクターマシンではこの境界線の引き方にルールがあります。境界線とそれに最も近い各クラスのデータの間の距離が最も大きくなるような境界線（決定境界線）を引くということです。

その際の各クラスのデータをサポートベクターと呼び、クラス間のサポートベクターの距離をマージンと呼びます。このマージンを最大にすることで、決定境界線がサポートベクターから離れるためにデータの差異を吸収して汎用性をもたせることができます。

ここまでをまとめると、サポートベクターマシンでは、このマージンを最大化しつつ、誤分類を減らしていくという進め方をしていきます。

このマージンの定義についてもう少し深堀りをしていきます。マージンには、ハードマージンとソフトマージンという考え方があります。

まず、ハードマージンというのは、サポートベクターと決定境界線を用いて分かりやすくはっきりとクラスを分類しようとする方法です。分かりやすくて良いのですが、欠点があります。それは、外れ値が存在すると境界が大きく変わってしまうことです。データ分析においては、この外れ値の扱いをどうするかはとても重要で、ハードマージンでは外れ値の影響を直接受けてしまうため汎用性に欠けます。

一方のソフトマージンというのは、外れ値についてもある程度許容することで汎用性をもたせた方法です。

現実的に、ハードマージンのように分離したデータになっているケースは少ないため、汎用性の高いソフトマージンが利用される事が多いようです。

その他、非線形分離を行う際に使用するカーネルトリック（Kernel Trick）という手法もあり、データ間の近さを定量化するカーネルを利用し、特徴量を高次元空間に変換することで対応する方法もあります。

サポートベクターマシンのメリットとデメリット

ここで、サポートベクターマシンのメリット・デメリットを紹介します。

メリット

• データの次元が増加しても、精度が高い
• 最適化するパラメーターが少ない
• 非線形にも対応

デメリット

• 学習データが増えてくると計算量が膨れ上がる
• 2クラスの分類が基本的な使い方（他クラス分類も可能ではある）

サポートベクターマシンの意味合いを理解する

今回は「サポートベクターマシン」という機械学習のアルゴリズムについて取り上げてきました。いきなりscikit-learnを使って見ても自分自身理解が追いつかなかったため、まずはサポートベクターマシン自体の考え方の理解を深めるために学習を進めました。次回は今回できた理解を元にして、scikit-learnを使って実際にプログラムをしていきたいと思います。

インターネット・アカデミーは、Python講座が充実しています。Python認定スクールにもなっているため質の高い知識を得ることができ、基礎学習の先にあるそれぞれの目標を目指していくためには良い場所となります。ご興味ある方は各講座のページを覗いてみてください。

Pythonが学べる講座

デジタル人材育成・助成金のお役立ち資料をダウンロード

デジタル人材育成や助成金活用のお役立ち資料などをまとめてダウンロードしていただけます。コンサルタントへの無料相談をご希望の方はこちらからお問い合わせください。

• DX人材の育成＆事例紹介 リスキリングのロードマップ付き
• デジタル人材育成に使える助成金制度
• デジタルスキル標準 役割別おすすめ講座