Colaboratoryは機械学習エンジニアための最高のツールだった

python
Colaboratoryは機械学習エンジニアための最高のツールだった
目次

普段 Jupter notebook で統計処理や機械学習ライブラリを触っている開発者の方は多いはず。今回は巷で話題の Colaboratory を触ってみました。

Colaboratoryとは

Colaboratory はGoogleから提供されているJupter notebook 環境です。

実行環境はGoogle側のクラウドを使わせていただけるので、ユーザの 環境構築は不要 です。

ちなみに、Googleアカウントが無くても利用できますが、Googleアカウントと連携した方がメリットが大きいので、 作成することをオススメします。

colaboratory_top

以降では、早速使ってみたColaboratoryの特徴をまとめました。

Colaboratoryの特徴

利用料がタダ

まず、これが最大のメリットと言えるでしょう。 よくある質問 にも記載があったので引用します。

Is it free to use?

Yes. Colaboratory is a research project that is free to use.

無料です。最高です。

なお、特に記載が見当たらなかったので、後述の GPU利用も無料 で利用できると思います。これは有りがたい。

GPUも使える

なんと、実行環境にGPUも選択できるのです 。

ローカルマシンだと、全力でファンが回転して、ブラウジングにすら支障が出ます。

ただでさえクラウド上に計算リソースを逃がせるだけでもありがたいのに、GPUを使わせてもらえるなんて最高です。

設定の手順としては以下の2ステップで終了です。


  • メニューから [Runtime] > [Change runtime type] を選択


  • Hardware accelerator を「GPU」に変更して「Save」


notebook上で以下のコードを実行すれば、GPUに変更されたことを確認できます。

1import tensorflow as tf
2tf.test.gpu_device_name()

デバイス名が表示されていますね。(CPUの場合は空文字が返ってきます)

switch_to_gpu_3

TPUも使える

2018/09 頃に TPU（Tensor Processing Unit） も選択できるようになりました。

TPUのざっくり説明に関しては Wikipedia を参照ください。

Googleはエッジコンピューティング向けに Edge TPU を外販するようなので、 そのTPU向けに書いたコードを試したりできそうですね。神か。

Google Driveと連携できる

Google のサービスだけあって、Google Driveとの連携も容易です。 notebookが .ipynb 形式で連携できるのが嬉しいポイントです。

Colaboratoryで作成したプログラムは自分のGoogle Driveに .ipynb で保存されます。

save_to_drive

逆に、既にローカルマシン上に存在する .ipynb ファイルのアップロードには メニューから [Upload notebook] を選択し、 ファイルをドラッグ&ドロップするだけで読み込むことができます。

upload_notebook

もちろん、Google Drive上にアップロードした .ipynb ファイルをColaboratoryで開くことも可能です。 Google Drive上のアイコンが見た目的に違いますし、開こうとするとポップアップが出たりしますが、大丈夫でした。

デフォルトでスニペットが揃っている

Colaboratory はJupyter notebookのGUIを少し拡張していて、コードスニペットの機能を持っています。 コードスニペットを呼び出して、notebookのcellに埋め込むことができます。 特にGoogle Driveと連携する場合などには、Google APIの呼び出しのコード片を貼り付けるだけで済むので重宝します。

use_snipet

ショートカットキーもバインドされていて、 Command/Ctrl + Alt + P でスニペットウィンドウが表示されるので 覚えておくのが良さそうです。

実行環境が選択できる

少し特殊なユースケースですが、ランタイムをColaboratoryからローカルマシンに切り替えることができます。 例えば、Colaboratoryで作成したコードをローカルマシンのGPUで動かしたい場合などが該当します。

設定手順は少し特殊なので以下にまとめます。

ローカルマシンの設定

  • jupyter notebookをインストールしておく
1pip install jupyter\[notebook\]
  • serverextensionを有効にする
1pip install jupyter_http_over_ws
2jupyter serverextension enable --py jupyter_http_over_ws
  • Colaboratoryのアクセスを許可する
1jupyter notebook --NotebookApp.allow_origin='https://colab.research.google.com' --port=8888

Colaboratoryの設定

上の手順でローカルマシン上でJupyter notebookが起動している状態にします。

その後、画面右上側の「Connect」 メニューで「Connect to local runtime…」 を選択します。


switch_runtime


これでローカルマシンをランタイムとして実行できます。

注意事項

Colaboratory を使う上での注意点を少しまとめました。

長時間の実行には向かない

ColaboratoryではGPUも使うことができて大変ありがたいのですが、長時間専有して使うことは推奨されていないようです。 よくある質問 にも、 長時間の実行、特に仮想通貨のマイニングには使わないように、と記載がされていました。

How may I use GPUs and why are they sometimes unavailable?

Colaboratory is intended for interactive use. Long-running background computations, particularly on GPUs, may be stopped. Please do not use Colaboratory for cryptocurrency mining. Doing so is unsupported and may result in service unavailability. We encourage users who wish to run continuous or long-running computations through Colaboratory’s UI to use a local runtime.

ちなみに、 GPUを12時間以上実行しようとしたツワモノ の存在を確認しましたが、 連続稼働時間については公式から具体的な言及がなされていないので、Colaboratoryを商用環境的な用途では使わない方が懸命かもしれません。

コードをクラウド環境に乗せることになる

これはColaboratoryに限らず、クラウドサービス利用における一般的な話になりますが、 ソースコード管理やデータの取扱いのガバナンスが厳しい企業では利用は難しいかもしれません。

たとえ、用途が一時的であっても、クラウド上に自社の貴重な資産がアップロードされることになるからです。

ランタイム切り替え時にはモジュールの差分を意識する

当たり前ですが、ランタイムをColaboratoryからローカル環境に切り替える場合には、 ローカル環境にインストールしているPython モジュールとColaboratoryに差分があることを理解しておきましょう。

具体的に言うと、以下のコードをColaboratoryとローカルのJupyter notebook上の両方で実行してみるとわかります。

1import pkg_resources
2[pkg for pkg in pkg_resources.working_set]
  • ColaboratoryにデフォルトでインストールされているPythonモジュール
  1[xgboost 0.7.post4 (/usr/local/lib/python3.6/dist-packages),
  2 wheel 0.31.0 (/usr/local/lib/python3.6/dist-packages),
  3 Werkzeug 0.14.1 (/usr/local/lib/python3.6/dist-packages),
  4 webencodings 0.5.1 (/usr/local/lib/python3.6/dist-packages),
  5 wcwidth 0.1.7 (/usr/local/lib/python3.6/dist-packages),
  6 urllib3 1.22 (/usr/local/lib/python3.6/dist-packages),
  7 uritemplate 3.0.0 (/usr/local/lib/python3.6/dist-packages),
  8 traitlets 4.3.2 (/usr/local/lib/python3.6/dist-packages),
  9 tornado 4.5.3 (/usr/local/lib/python3.6/dist-packages),
 10 testpath 0.3.1 (/usr/local/lib/python3.6/dist-packages),
 11 terminado 0.8.1 (/usr/local/lib/python3.6/dist-packages),
 12 termcolor 1.1.0 (/usr/local/lib/python3.6/dist-packages),
 13 tensorflow 1.7.0 (/usr/local/lib/python3.6/dist-packages),
 14 tensorboard 1.7.0 (/usr/local/lib/python3.6/dist-packages),
 15 sympy 1.1.1 (/usr/local/lib/python3.6/dist-packages),
 16 statsmodels 0.8.0 (/usr/local/lib/python3.6/dist-packages),
 17 six 1.11.0 (/usr/local/lib/python3.6/dist-packages),
 18 simplegeneric 0.8.1 (/usr/local/lib/python3.6/dist-packages),
 19 setuptools 39.1.0 (/usr/local/lib/python3.6/dist-packages),
 20 seaborn 0.7.1 (/usr/local/lib/python3.6/dist-packages),
 21 scipy 0.19.1 (/usr/local/lib/python3.6/dist-packages),
 22 scikit-learn 0.19.1 (/usr/local/lib/python3.6/dist-packages),
 23 scikit-image 0.13.1 (/usr/local/lib/python3.6/dist-packages),
 24 rsa 3.4.2 (/usr/local/lib/python3.6/dist-packages),
 25 requests 2.18.4 (/usr/local/lib/python3.6/dist-packages),
 26 requests-oauthlib 0.8.0 (/usr/local/lib/python3.6/dist-packages),
 27 pyzmq 16.0.4 (/usr/local/lib/python3.6/dist-packages),
 28 PyYAML 3.12 (/usr/local/lib/python3.6/dist-packages),
 29 PyWavelets 0.5.2 (/usr/local/lib/python3.6/dist-packages),
 30 pytz 2018.4 (/usr/local/lib/python3.6/dist-packages),
 31 python-dateutil 2.5.3 (/usr/local/lib/python3.6/dist-packages),
 32 pyparsing 2.2.0 (/usr/local/lib/python3.6/dist-packages),
 33 Pygments 2.1.3 (/usr/local/lib/python3.6/dist-packages),
 34 pyasn1 0.4.2 (/usr/local/lib/python3.6/dist-packages),
 35 pyasn1-modules 0.2.1 (/usr/local/lib/python3.6/dist-packages),
 36 ptyprocess 0.5.2 (/usr/local/lib/python3.6/dist-packages),
 37 psutil 5.4.5 (/usr/local/lib/python3.6/dist-packages),
 38 protobuf 3.5.2.post1 (/usr/local/lib/python3.6/dist-packages),
 39 prompt-toolkit 1.0.15 (/usr/local/lib/python3.6/dist-packages),
 40 portpicker 1.2.0 (/usr/local/lib/python3.6/dist-packages),
 41 plotly 1.12.12 (/usr/local/lib/python3.6/dist-packages),
 42 pip 10.0.1 (/usr/local/lib/python3.6/dist-packages),
 43 Pillow 4.0.0 (/usr/local/lib/python3.6/dist-packages),
 44 pickleshare 0.7.4 (/usr/local/lib/python3.6/dist-packages),
 45 pexpect 4.5.0 (/usr/local/lib/python3.6/dist-packages),
 46 patsy 0.5.0 (/usr/local/lib/python3.6/dist-packages),
 47 pandocfilters 1.4.2 (/usr/local/lib/python3.6/dist-packages),
 48 pandas 0.22.0 (/usr/local/lib/python3.6/dist-packages),
 49 pandas-gbq 0.4.1 (/usr/local/lib/python3.6/dist-packages),
 50 opencv-python 3.4.0.12 (/usr/local/lib/python3.6/dist-packages),
 51 olefile 0.45.1 (/usr/local/lib/python3.6/dist-packages),
 52 oauthlib 2.0.7 (/usr/local/lib/python3.6/dist-packages),
 53 oauth2client 4.1.2 (/usr/local/lib/python3.6/dist-packages),
 54 numpy 1.14.3 (/usr/local/lib/python3.6/dist-packages),
 55 notebook 5.2.2 (/usr/local/lib/python3.6/dist-packages),
 56 nltk 3.2.5 (/usr/local/lib/python3.6/dist-packages),
 57 networkx 2.1 (/usr/local/lib/python3.6/dist-packages),
 58 nbformat 4.4.0 (/usr/local/lib/python3.6/dist-packages),
 59 nbconvert 5.3.1 (/usr/local/lib/python3.6/dist-packages),
 60 mpmath 1.0.0 (/usr/local/lib/python3.6/dist-packages),
 61 mistune 0.8.3 (/usr/local/lib/python3.6/dist-packages),
 62 matplotlib 2.1.2 (/usr/local/lib/python3.6/dist-packages),
 63 MarkupSafe 1.0 (/usr/local/lib/python3.6/dist-packages),
 64 Markdown 2.6.11 (/usr/local/lib/python3.6/dist-packages),
 65 Keras 2.1.6 (/usr/local/lib/python3.6/dist-packages),
 66 jupyter-core 4.4.0 (/usr/local/lib/python3.6/dist-packages),
 67 jupyter-client 5.2.3 (/usr/local/lib/python3.6/dist-packages),
 68 jsonschema 2.6.0 (/usr/local/lib/python3.6/dist-packages),
 69 Jinja2 2.10 (/usr/local/lib/python3.6/dist-packages),
 70 ipython 5.5.0 (/usr/local/lib/python3.6/dist-packages),
 71 ipython-genutils 0.2.0 (/usr/local/lib/python3.6/dist-packages),
 72 ipykernel 4.6.1 (/usr/local/lib/python3.6/dist-packages),
 73 idna 2.6 (/usr/local/lib/python3.6/dist-packages),
 74 httplib2 0.11.3 (/usr/local/lib/python3.6/dist-packages),
 75 html5lib 0.9999999 (/usr/local/lib/python3.6/dist-packages),
 76 h5py 2.7.1 (/usr/local/lib/python3.6/dist-packages),
 77 grpcio 1.11.0 (/usr/local/lib/python3.6/dist-packages),
 78 googleapis-common-protos 1.5.3 (/usr/local/lib/python3.6/dist-packages),
 79 google-resumable-media 0.3.1 (/usr/local/lib/python3.6/dist-packages),
 80 google-colab 0.0.1a1 (/usr/local/lib/python3.6/dist-packages),
 81 google-cloud-translate 1.3.1 (/usr/local/lib/python3.6/dist-packages),
 82 google-cloud-storage 1.8.0 (/usr/local/lib/python3.6/dist-packages),
 83 google-cloud-language 1.0.1 (/usr/local/lib/python3.6/dist-packages),
 84 google-cloud-core 0.28.1 (/usr/local/lib/python3.6/dist-packages),
 85 google-cloud-bigquery 1.1.0 (/usr/local/lib/python3.6/dist-packages),
 86 google-auth 1.4.1 (/usr/local/lib/python3.6/dist-packages),
 87 google-auth-oauthlib 0.2.0 (/usr/local/lib/python3.6/dist-packages),
 88 google-auth-httplib2 0.0.3 (/usr/local/lib/python3.6/dist-packages),
 89 google-api-python-client 1.6.7 (/usr/local/lib/python3.6/dist-packages),
 90 google-api-core 1.1.1 (/usr/local/lib/python3.6/dist-packages),
 91 gast 0.2.0 (/usr/local/lib/python3.6/dist-packages),
 92 future 0.16.0 (/usr/local/lib/python3.6/dist-packages),
 93 entrypoints 0.2.3 (/usr/local/lib/python3.6/dist-packages),
 94 decorator 4.3.0 (/usr/local/lib/python3.6/dist-packages),
 95 cycler 0.10.0 (/usr/local/lib/python3.6/dist-packages),
 96 crcmod 1.7 (/usr/local/lib/python3.6/dist-packages),
 97 chardet 3.0.4 (/usr/local/lib/python3.6/dist-packages),
 98 certifi 2018.4.16 (/usr/local/lib/python3.6/dist-packages),
 99 cachetools 2.0.1 (/usr/local/lib/python3.6/dist-packages),
100 bleach 1.5.0 (/usr/local/lib/python3.6/dist-packages),
101 beautifulsoup4 4.6.0 (/usr/local/lib/python3.6/dist-packages),
102 astor 0.6.2 (/usr/local/lib/python3.6/dist-packages),
103 absl-py 0.2.0 (/usr/local/lib/python3.6/dist-packages)]
  • Jupyter notebookにデフォルトでインストールされているPythonモジュール
 1[widgetsnbextension 3.2.1 (/Users/soudegesu/.pyenv/versions/3.6.1/envs/test/lib/python3.6/site-packages),
 2 webencodings 0.5.1 (/Users/soudegesu/.pyenv/versions/3.6.1/envs/test/lib/python3.6/site-packages),
 3 wcwidth 0.1.7 (/Users/soudegesu/.pyenv/versions/3.6.1/envs/test/lib/python3.6/site-packages),
 4 traitlets 4.3.2 (/Users/soudegesu/.pyenv/versions/3.6.1/envs/test/lib/python3.6/site-packages),
 5 tornado 5.0.2 (/Users/soudegesu/.pyenv/versions/3.6.1/envs/test/lib/python3.6/site-packages),
 6 testpath 0.3.1 (/Users/soudegesu/.pyenv/versions/3.6.1/envs/test/lib/python3.6/site-packages),
 7 terminado 0.8.1 (/Users/soudegesu/.pyenv/versions/3.6.1/envs/test/lib/python3.6/site-packages),
 8 six 1.11.0 (/Users/soudegesu/.pyenv/versions/3.6.1/envs/test/lib/python3.6/site-packages),
 9 simplegeneric 0.8.1 (/Users/soudegesu/.pyenv/versions/3.6.1/envs/test/lib/python3.6/site-packages),
10 setuptools 28.8.0 (/Users/soudegesu/.pyenv/versions/3.6.1/envs/test/lib/python3.6/site-packages),
11 Send2Trash 1.5.0 (/Users/soudegesu/.pyenv/versions/3.6.1/envs/test/lib/python3.6/site-packages),
12 qtconsole 4.3.1 (/Users/soudegesu/.pyenv/versions/3.6.1/envs/test/lib/python3.6/site-packages),
13 pyzmq 17.0.0 (/Users/soudegesu/.pyenv/versions/3.6.1/envs/test/lib/python3.6/site-packages),
14 python-dateutil 2.7.2 (/Users/soudegesu/.pyenv/versions/3.6.1/envs/test/lib/python3.6/site-packages),
15 Pygments 2.2.0 (/Users/soudegesu/.pyenv/versions/3.6.1/envs/test/lib/python3.6/site-packages),
16 ptyprocess 0.5.2 (/Users/soudegesu/.pyenv/versions/3.6.1/envs/test/lib/python3.6/site-packages),
17 prompt-toolkit 1.0.15 (/Users/soudegesu/.pyenv/versions/3.6.1/envs/test/lib/python3.6/site-packages),
18 pip 10.0.1 (/Users/soudegesu/.pyenv/versions/3.6.1/envs/test/lib/python3.6/site-packages),
19 pickleshare 0.7.4 (/Users/soudegesu/.pyenv/versions/3.6.1/envs/test/lib/python3.6/site-packages),
20 pexpect 4.5.0 (/Users/soudegesu/.pyenv/versions/3.6.1/envs/test/lib/python3.6/site-packages),
21 parso 0.2.0 (/Users/soudegesu/.pyenv/versions/3.6.1/envs/test/lib/python3.6/site-packages),
22 pandocfilters 1.4.2 (/Users/soudegesu/.pyenv/versions/3.6.1/envs/test/lib/python3.6/site-packages),
23 notebook 5.4.1 (/Users/soudegesu/.pyenv/versions/3.6.1/envs/test/lib/python3.6/site-packages),
24 nbformat 4.4.0 (/Users/soudegesu/.pyenv/versions/3.6.1/envs/test/lib/python3.6/site-packages),
25 nbconvert 5.3.1 (/Users/soudegesu/.pyenv/versions/3.6.1/envs/test/lib/python3.6/site-packages),
26 mistune 0.8.3 (/Users/soudegesu/.pyenv/versions/3.6.1/envs/test/lib/python3.6/site-packages),
27 MarkupSafe 1.0 (/Users/soudegesu/.pyenv/versions/3.6.1/envs/test/lib/python3.6/site-packages),
28 jupyter 1.0.0 (/Users/soudegesu/.pyenv/versions/3.6.1/envs/test/lib/python3.6/site-packages),
29 jupyter-core 4.4.0 (/Users/soudegesu/.pyenv/versions/3.6.1/envs/test/lib/python3.6/site-packages),
30 jupyter-console 5.2.0 (/Users/soudegesu/.pyenv/versions/3.6.1/envs/test/lib/python3.6/site-packages),
31 jupyter-client 5.2.3 (/Users/soudegesu/.pyenv/versions/3.6.1/envs/test/lib/python3.6/site-packages),
32 jsonschema 2.6.0 (/Users/soudegesu/.pyenv/versions/3.6.1/envs/test/lib/python3.6/site-packages),
33 Jinja2 2.10 (/Users/soudegesu/.pyenv/versions/3.6.1/envs/test/lib/python3.6/site-packages),
34 jedi 0.12.0 (/Users/soudegesu/.pyenv/versions/3.6.1/envs/test/lib/python3.6/site-packages),
35 ipywidgets 7.2.1 (/Users/soudegesu/.pyenv/versions/3.6.1/envs/test/lib/python3.6/site-packages),
36 ipython 6.3.1 (/Users/soudegesu/.pyenv/versions/3.6.1/envs/test/lib/python3.6/site-packages),
37 ipython-genutils 0.2.0 (/Users/soudegesu/.pyenv/versions/3.6.1/envs/test/lib/python3.6/site-packages),
38 ipykernel 4.8.2 (/Users/soudegesu/.pyenv/versions/3.6.1/envs/test/lib/python3.6/site-packages),
39 html5lib 1.0.1 (/Users/soudegesu/.pyenv/versions/3.6.1/envs/test/lib/python3.6/site-packages),
40 entrypoints 0.2.3 (/Users/soudegesu/.pyenv/versions/3.6.1/envs/test/lib/python3.6/site-packages),
41 decorator 4.3.0 (/Users/soudegesu/.pyenv/versions/3.6.1/envs/test/lib/python3.6/site-packages),
42 bleach 2.1.3 (/Users/soudegesu/.pyenv/versions/3.6.1/envs/test/lib/python3.6/site-packages),
43 backcall 0.1.0 (/Users/soudegesu/.pyenv/versions/3.6.1/envs/test/lib/python3.6/site-packages),
44 appnope 0.1.0 (/Users/soudegesu/.pyenv/versions/3.6.1/envs/test/lib/python3.6/site-packages)]

機械学習ライブラリや数値計算系ライブラリ、Google APIなどがColaboratoryには入っていますね。 必要に応じてローカル環境にもライブラリをインストールしましょう。

まとめ

今回はColaboratoryの特徴をまとめてみました。 実行環境として必要な基盤はほとんど揃っているため、簡単に開発をスタートできるのが大変嬉しいです。 加えて、従来と比較して、Googleのサービスと容易に連携させることができるので、例えば、Google Spread Sheetに基データをストアしている方などは大変重宝するでしょう。 ただし、Googleのクラウドサービスですから、仕事での利用を視野に入れている人は、所属企業のガバナンスを確認した上で使うと良いでしょう。

参考にさせていただいたサイト