くもをもくもく学ぶ - Learning Cloud Computing

GAN：敵対的生成ネットワークとは何か　～「教師なし学習」による画像生成

Sequence To Sequence( Seq2Seq )

Long short-term memory

第6回　RNN（Recurrent Neural Network）の概要を理解しよう（TensorFlow編）

定番のConvolutional Neural Networkをゼロから理解する

VGG-16 畳み込みニューラル ネットワーク

ResNet-50 畳み込みニューラル ネットワーク

https://docs.aws.amazon.com/sagemaker/latest/dg/whatis.html#whatis-features

モデルの構築、学習、デプロイ、分析をすべて同じアプリケーションで行うことができる統合的な機械学習環境を提供する

コーディング経験のない人でもモデルを構築し、それを使って予測することができる自動MLサービス

ラベリングアプリケーションの構築やラベリング作業者の管理を自前で行うことなく、高品質のトレーニングデータセットを作成するためのターンキーデータラベリング機能

SageMakerで管理されたスケーラブルなGPUインスタンスでディープラーニングモデルを高速にトレーニング

SageMaker Studioから直接、シングルアカウントおよびクロスアカウント構成のAmazon EMRクラスタを簡単に検出、接続、作成、終了、管理する

MLモデルをホスティングするためのサーバーレスエンドポイント。容量は自動拡張、エンドポイント側でインスタンスタイプの選択、スケーリングポリシーの管理が不要

利用者のMLモデルやワークロードを使用するための推論インスタンスタイプや構成（インスタンス数、コンテナパラメータ、モデルの最適化など）の推奨を得る

機械学習モデルのデプロイメントのためのバージョン管理、アーティファクトとリネージのトラッキング、承認ワークフロー、およびクロスアカウントサポート

SageMakerのプロジェクトを使って、CI/CDでエンドツーエンドのMLソリューションを作成する

SageMakerのジョブと直接統合された機械学習パイプラインの作成と管理する

機械学習の系統（Lineage）を追跡する

SageMaker Studioでデータのインポート、分析、準備、フィーチャリングを行う

機能と関連するメタデータを一元的に保存するため、機能の発見と再利用ができる。 オンラインストアは低レイテンシー、リアルタイム推論のユースケースに使用でき、オフラインストアはトレーニングやバッチ推論に使用することができる

潜在的なバイアスを検出することで機械学習モデルを改善し、モデルが行う予測の説明を支援する

エッジデバイスのカスタムモデルの最適化、フリートの作成と管理、効率的なランタイムによるモデルの実行が可能になる

機械学習とともに作業者を用いてラベル付きデータセットを作成することで、高品質な学習データセットを提供する

ML 予測のヒューマンレビューに必要なワークフローを構築する

AWSシングルサインオン（AWS SSO）連携、高速起動、シングルクリック共有などを実現した次世代SageMakerノートブック

実験の管理および追跡

学習プロセス全体を通して、学習パラメータとデータを検査する

機械学習の知識がないユーザーでも、分類や回帰のモデルを素早く構築する

Production環境のモデル（エンドポイント）を監視・分析し、データドリフトやモデル品質の逸脱を検出する

機械学習モデルを一度学習させれば、クラウドやエッジのどこにいても実行できる

リアルタイム推論を得るためのスループットを高速化し、レイテンシーを低減する

エージェントがその行動の結果として受け取る長期的な報酬を最大化する

データの解析と前処理、フィーチャーエンジニアリングへの取り組み、そしてモデルの評価する

データセットを前処理し、永続的なエンドポイントが不要な場合は推論を実行し、入力レコードと推論を関連付けて結果の解釈を支援する

オープンソースのJupyterLabをベースにした環境で、AWSの計算資源を利用できる無料サービス

精選された1クリックソリューション、ノートブックの例、デプロイ可能な事前学習済みモデルを通じて、SageMakerの機能と性能を学ぶことができる。

https://bokete.jp/

• https://github.com/aws-samples/bokete-denshosen (もしこのブログを見て実施される方で、GitHubアカウントをお持ちの方は上記のリポジトリからForkしてください)
  • 実施環境（Region）はN.Virginia, Oregon, Ohio, TokyoなどSageMakerが利用可能な環境であればどこでも

{{< tweet user="midnight480" id="1527897050750529537" >}}

{{< message_box color="warning" >}} 当日は、AWS SA針原さんを始め、AWSのエンジニアの方々のサポートがあったためできました。 また上記のGitHub リポジトリには2022年5月26日現在手順がありませんが、今後追加される可能性があります。 {{< /message_box >}}

• はじめ
  • 私の場合は、SageMaker Domainを作成していなかったため、SageMaker Instanceを起動しました
    • Notebook instanceから新規ml.m5.xlargeを指定
    • IAM Roleは新規、S3はAnyを指定
    • Public Repoで以下のGithubを指定
      • https://github.com/aws-samples/bokete-denshosen
    • Notebook instanceがInServiceになったら、Open JupyterLabから開く。
    • set kernelはこのファイルに記載されているものに従う
      • https://github.com/aws-samples/bokete-denshosen/blob/main/notebook/keras_baseline/bokete_keras_on_sagemaker.ipynb

• おわり
  • 作成したリソースを残しつつ、モデルを削除したくない場合は predictor.delete_endpoint() をSageMaker上で実施
    • 再度起動するときに、Deploy Modelからやり直せばOK.
  • Processing, Trainingは放置しても自動で削除
  • NotebookはインスタンスをStoppedになってDelete.
  • Inference > Models と S3 にある学習データ、CloudWatch logs に作成されるロググループの削除も忘れずに.

• AWSコンソールでは上限緩和（VPCの数など）を確認が可能ですが、SageMakerは確認ができません
  • 自分が今回4つ申請したSageMakerの上限緩和申請のうち、一つは既に適用済みとのことで...AWSサポートさまにはお手数おかけしましたm(_ _)m

{{< tweet user="midnight480" id="1527909594416447494" >}}

• 何もしなければ出力がつらつらと長くなります

• 左側のバーを選択することで出力が短縮されます

• 途中で実行すると赤く表示されるので驚きました
  • Python3.6で利用されるAWS boto3ライブラリは2022年5月30日までのサポートとなるので警告が表示されます

• ただし実行したS3へのオブジェクトコピー処理は以下のように成功しているので問題ありません

今回、SageMakerをちゃんと触ることになって、今まで自分があまり触れてこなかったサービスですので非常に参考になりました。 また、SageMaker＝機械学習サービスというざっくりとしたイメージしか持っていないままイベントに参加はまずいと思って、 事前にどのような機能があるのかAWS Docsを見た上でイベントに臨んだので、少しは説明されている内容に付いていくことができました。

機械学習は中身を知らなくても利用できるようになってきたとは思いますが、 そこはエンジニアなので、やはり基礎を抑えるためにも改めて数式と戦ってみようと思いました。

このようなテンプレートを公開して個人でできるようになっているのはすごいなと改めて思いました。