キカベン
機械学習でより便利な世の中へ
G検定対策
お問い合わせ
   

機械学習の分業化、あなたはどちらを選ぶべきか?

thumb image

機械学習で扱うデータの量が年々増えていき、しかもリアルタイムにストリーミング処理する必要が増してきているようです。

アマゾンAWSやマイクロソフトAzureなどの環境を利用して大規模並列処理を行うなどエンジニアの力なしには実現不可能になっています。

5年くらい前なら、RとかScikit-LearnでCSVファイルのデータで機械学習モデルを訓練したみたいな感じでも通用していたのが、今では分散型の訓練環境は当たり前になってきました。例えば、多数のサーバーに搭載したGPUに仕事を振り分けてモデルのトレーニングを行ったりします。

こうなってくると大規模トレーニング環境を管理するエンジニアと、それを使う研究者たちとの間の分業が進んでいくでしょう。

となると、その中間的な位置にいる今日の機械学習エンジニアはより研究者に近づいて専門化していくか、DevOps的な立ち位置でソフトウェアの運用側に特化していくかになるでしょう。MLOpsなんて言葉も見かけるようになりました。

アマゾンやマイクロソフトやグーグルだけでなく、NVIDIAやIBMやOracleもこういった波に乗っていこうとしているようです。

もちろん、会社の規模が大きいほどこのような傾向は強くなるでしょう。逆にスタートアップなど小規模の会社では何でも屋の機械学習エンジニアが活躍する機会は残ると考えられます。

よってスタートアップなどを自分の領域として生き残るというのは一つの可能な戦略と言えるでしょう。

いずれにせよ、機械学習をCI/CDなどと組み合わせてパイプラインとして扱っていくのが主流になっていくのは間違いなさそうです。現在のソフトウェア開発のあり方とも一致しています。

いつまでもPoC(Proof of Concept)ばかりやっているのではなく、初めからDockerによるデプロイをターゲットにして環境準備したり役割分担したりするようになるので、そういった面での機械学習も含めたプロジェクト運営ができるマネージャーやチームリーダーも求められるでしょう。

環境を構築運用できるエンジニアの重要性が増す一方で、より高度なモデルのデザインを設計したり、確率統計などを駆使してレポートを作るデータサイエンティストや機械学習リサーチャーは、ビジネス・ユーザー側の立ち位置で活躍していくでしょう。

そもそも夢のある職業として機械学習エンジニアを選んだ多くの人たちは、運用側に振り分けられることで幻滅するでしょう。かといって世界的に有名な大学で博士号を取得してきたリサーチャーとやりあう実力もないのが現実かもしれません。よりやりがいのある仕事を求めてスタートアップで働くとしても、やってることはデータのクリーニングばかりになるかもしれません。

ディープラーニングのブームも落ち着いてきた近年、現実的なことは着実にこなせるエンジニアが生き残るのは確実でしょう。単純化してまとめると、エンジニアになるか研究者になりたいのかよく見極める必要があります。自分がどういう段階を経て成長して行きたいのか、選ぶのはあなた次第です。では、また。



コメントを残す

メールアドレスは公開されません。