2021-02-28

Jupyter LabにExtentionを導入しようとしたらNode.jsとnpmが無いと怒られる

JupyterLab

事象

Jupyter LabにExtensionを導入しようとしたら以下の様なエラーが発生した。

root@096e8b5bcfb1:/usr/src/app# jupyter labextension install jupyterlab_vim
An error occured.
ValueError: Please install Node.js and npm before continuing installation. You may be able to install Node.js from your package manager, from conda, or directly from the Node.js website (https://nodejs.org).
See the log file for details:  /tmp/jupyterlab-debug-lniy1xvy.log

対応方法

記載の通り、Node.jsとnpmをインストールする

# dockerfileに書き足した内容
RUN curl -sL https://deb.nodesource.com/setup_14.x | bash -
RUN apt-get install -y nodejs
RUN npm install npm@latest -g

間違えた内容

・pipでnode.jsとnpmをインストールしていた
　→利用したいのは、あくまでもOS側

・普通にapt-getなどでnode.jsをインストールする
　古いNode.js(v10系)がダウンロードされる。
　Jupyter Extentionは最低v12系が必要との事で動かなかった。

その他

利用したかったExtensionが現時点では利用できそうになかった。。
(別途開発版とかでごにょごにょすればいけるかもか)

# jupyter labextension install jupyterlab_vim
An error occured.
ValueError: The extension "jupyterlab_vim" does not yet support the current version of JupyterLab.

参考リンク

tsyama.hatenablog.com

改訂版 Pythonユーザのための Jupyter[実践]入門

作者:池内孝啓,片柳薫子,@driller
技術評論社

Amazon

Python インタラクティブ・データビジュアライゼーション入門 ―Plotly/Dashによるデータ可視化とWebアプリ構築―

作者:@driller,小川英幸,古木友子
朝倉書店

Amazon

2021-02-28

docker-composeで共有ディスクの指定をして起動しようとするとエラー

docker

事象

以下の記事を参考にdocker-composeでJupyter Labを起動させたい。
qiita.com

しかしながら、以下の様なエラーが発生してしまい、起動しない。
(一部ディレクトリ変更はしているが、その部分のエラーではない)

C:\dockerfile\JupyterLab>docker-compose up
Creating network "jupyterlab_default" with the default driver
Creating jupyterlab_jupyterlab_1 ... error

ERROR: for jupyterlab_jupyterlab_1  Cannot start service jupyterlab: error while mounting volume '/var/lib/docker/volumes/jupyterlab_jupyterlab-dir/_data': 
failed to mount local volume: mount C:\c\jupyterlab:/var/lib/docker/volumes/jupyterlab_jupyterlab-dir/_data, flags: 0x1000: no such file or directory

ERROR: for jupyterlab  Cannot start service jupyterlab: error while mounting volume '/var/lib/docker/volumes/jupyterlab_jupyterlab-dir/_data': 
failed to mount local volume: mount C:\c\jupyterlab:/var/lib/docker/volumes/jupyterlab_jupyterlab-dir/_data, flags: 0x1000: no such file or directory
ERROR: Encountered errors while bringing up the project.

発生している環境

Windows10 pro
WSL2
Docker Desktop for Windows

原因

不明(調べきれなかった)

対応方法

パスを直接指定する事にした

[docker-compose.yml]

version: '3'
services:
  jupyterlab:
(中略)
    volumes:
#      - jupyterlab-dir:/home/JupyterLab/codes
       - c:\jupyterlab:/home/JupyterLab/codes
(以下略)

共有ディスクとして設定した内容確認方法

ボリューム一覧
docker volume ls
ボリューム詳細
docker volume inspect ボリューム名
ボリューム削除
docker volume rm ボリューム名

上記の例であれば、jupyterlab-dirというボリューム名が作成されているので、削除する。
なお、設定したボリュームの中身更新したい場合は、一度削除した方が良さげ。

分からなかった事

volumesで動くマシンと動かないマシンの違い

実は直接パスを指定しなくても動く端末もあった。
しかし、別の端末では同じエラーが発生し続けた。
dockerのバージョンから始まり、色々見比べたが差異が見つけれなかった。。
オプション指定とか今はしたい訳でもないので、一旦忘れる。

C:\c\jupyterlabとドライブレターが複数指定されている件

volumesでするとどうしてもドライブレターが二度表示され、c:\cフォルダが必要であった。
これも解決できておらず、動くマシンではc:\cフォルダを掘っていた。

driver_optsの"type: none"と"o: bind"の意味

docker-composeのマニュアルや仕様には、その様な記載は見つけれなかった。
Compose Specification（仕様） — Docker-docs-ja 24.0 ドキュメント
github.com
しかし、Issueの対応に同じ記載を見つける事はでき、またどちらかを削ると動かなかった。
github.com

その他

WSL2の場合は、Docker Desktop for WindowsにShared Drivesという設定は存在しない。
Docker Desktop for Windowsをインストールしていても、docker-compose使うならあまり意味がない。コマンドを憶えるか、バッチファイルを作成して叩いて利用した方が良い。Docker Desktop for Windowsは起動・停止位の意味合いで利用すると割り切る。
Anacondaを使わなかったのは、ライセンス問題があるし、ちょこっと集計する程度に使えればいい位なので。

qiita.com

改訂版 Pythonユーザのための Jupyter[実践]入門

作者:池内孝啓,片柳薫子,@driller
技術評論社

Amazon

Python インタラクティブ・データビジュアライゼーション入門 ―Plotly/Dashによるデータ可視化とWebアプリ構築―

作者:@driller,小川英幸,古木友子
朝倉書店

Amazon

2021-02-28

ハンガリアン記法とハンガリアン汚染

開発一般

ハンガリアン記法

クラス名や変数名に特別な接頭字や接尾字を付与する事で、データ型情報・スコープなどが分かるようにするための命名法
ハンガリアン記法にもアプリケーションハンガリアンとシステムハンガリアンが存在
アプリケーションハンガリアンは、実装をしている事で気づく様に仕向ける記法
(ex. 摂氏はc、華氏はfを付けるとしておけば、c_hoge1+ f_hoge2と実装しようとしているとおかしい事に気づける)
システムハンガリアンは、システム的に決まっているクラス名や変数名に対して、それを伝達する情報を付加すること
(ex. Javaのインタフェースなら接頭辞にIを付与、Javaの実装クラスなら)
ハンガリアン記法 - Wikipedia

ハンガリアン汚染

ハンガリアン記法が含まれてしまうこと
clean codeに記載有
moderatemisbehaviour.github.io

システムハンガリアンが嫌がられる理由(推測含む)

・クラス名や変数名の特徴を表す内容を変更したのに、名称を変更し忘れて意味が間違えてしまう事が多い
　(ex. BigDecimalからDoubleに変更したのに、BigDecimalを表す接頭辞を付与している)
・過去はIDEなどが無い、貧弱であったが、昨今ではそれらツールでカバーできる
　結果、可読性が落ちる
・上記ツールでカバーできる範囲なのに、無駄に覚えるべきルールが増える
・ソート順序が狂う

所感

基本的にはハンガリアン汚染と呼ぶことに賛成(システムハンガリアン記法は不要)
アプリケーションハンガリアンは、みんなが守れるレベルの内容であればすべきだけど、拘りすぎると可読性を失う可能性あるかも
とはいえ、スタックトレースをぱっと読む際に、ハンガリアン記法で書かれていると便利な時は多い

　(eclipseはあんま昔からここ変わってないが、InteliJやNetBeansではうまくハンドリングしてくれるのやろか)

Clean Code　アジャイルソフトウェア達人の技 (アスキードワンゴ)

作者:ＲｏｂｅｒｔＣ．Ｍａｒｔｉｎ,花井志生
発売日: 2017/12/28
メディア: Kindle版

Clean Coder　プロフェッショナルプログラマへの道 (アスキードワンゴ)

作者:ＲｏｂｅｒｔＣ．Ｍａｒｔｉｎ,角征典
発売日: 2018/08/01
メディア: Kindle版

リーダブルコードより良いコードを書くためのシンプルで実践的なテクニ（Theory　in　practice） [ ダスティン・ボズウェル ]

価格: 2640 円
楽天で詳細を見る

2021-02-27

Azureのサブスクリプションに紐づけたライセンスの表示方法

Azure

【事象】
Azureポータルの検索で、ライセンスとか製品と入力しても、該当画面にたどりつけない

【対応方法】
以下を辿る(2021.2.19現在)
　Azure Active Directory → ライセンス → 管理 - すべての製品

上記ステップにより、Azure ADやWindows10など購入したライセンス一覧が現れる。

f:id:yoneyore:20210227192906j:plain — 知らぬ間に検索できる様になっている可能性は高いかも

Microsoft Azure実践ガイド impress top gearシリーズ

作者:真壁　徹,松井亮平,水谷広巳,横谷俊介
発売日: 2017/12/15
メディア: Kindle版

Microsoft Azure Administrator - ( AZ-104 )【電子書籍】[ Saransh Paliwal ]

価格: 1742 円
楽天で詳細を見る

2021-02-26

Azureの仮想マシンのサイズや料金に関して

Azure

サイズ・料金

仮想マシンの種類の一覧を見たい場合

リンク先及び詳細サイト見ても正直初見殺し
VM サイズ - Azure Virtual Machines | Microsoft Learn
第 2 世代 VM に対する Azure のサポート - Azure Virtual Machines | Microsoft Learn

仮想マシンの料金表一覧を見たい場合

LinuxとWindowsで料金表が異なる
こちらから選択した内容を元に料金表に画面遷移もできる
料金 - Linux Virtual Machines | Microsoft Azure
料金 - Windows Virtual Machines | Microsoft Azure

仮想マシンの価格を詳しく見たい場合

料金計算ツールで仮想マシンやディスクなどを追加して計算する
OSも選択できる
料金計算ツール | Microsoft Azure

関連事項

D v4とDs v4の違い

基礎スペックは同じで、Ds v4 サイズの価格および課金の計算方法は、D v4 シリーズと同じ。
Ds v4にしか対応していない機能がいくつかある
・Premium Storageに対応
・VM世代のサポートがDs v4は第二世代(※1)も対応

※1 第2世代VMに関する説明は、以下のリンクを参照
第 2 世代 VM に対する Azure のサポート - Azure Virtual Machines | Microsoft Learn

D v4とDd v4とDa v4の違い

シリーズ	D v4	Dd v4	Da v4
CPU	Intel Xeon	Intel Xeon	AMD EPYC
ACU	195-210	195-210	230-260
VM世代	第1	第1・2	第1
エフェメラルOSディスク	未サポート	サポート	未サポート
従量課金[円/時間]	13.888	16.352	13.888
1年予約[円/時間]	8.1951	9.6533	8.1951
3年予約[円/時間]	5.2764	6.2138	5.2764
スポット[円/時間]	1.6347	4.2860	2.5902

(価格は2021/2/26 日本-東日本リージョン D2 v4/D2d v4/D2a v4の場合)

[補記事項]
・D v4とDd v4は基本一時ストレージの無/有の差で、性能は同じ
・D v4とDa v4はCPUの差異であり、AMDで一時ストレージ有というのは今は無さそう
・従量課金とリザーブドはDa v4が得そうだけど、スポットは高そう
　但し、リージョンによっては価格差があったため、利用時にきちんと確認する必要有　

B1lsとB1sとB1msの違い

マシンスペック自体は同じで、異なる点は以下の通り
・利用できるメモリ量
・通常CPUのリソース最大量
・CPUクレジットのたまり方
・ディスクの最大スループット
なお、B2にはB2lsみたいなのはなく、B4ms、B8msと以後はmsが必ず付くタイプしかない。
負荷の急増に対応できる B シリーズ - Azure Virtual Machines | Microsoft Learn

マシンタイプの選定方法

あまりCPUパワーを使わないのであればBシリーズ、
それなりに使うならDv4シリーズ辺りから検討開始すれば良いかも。
但し、Bシリーズはクレジットという概念があるので、利用には注意が必要である。

EC2のインスタンスタイプとの対比(自身が良く使う分のみ)

タイプ	AWS EC2 インスタンスタイプ	Azure 仮想マシンマシンタイプ
汎用	M	D
CPU最適化	C	F
メモリ最適化	R・X	E・M
バースト	T	B

・AWSでいうsmallやlargeなどのサイズは、AzureではD2やD4など頭文字の後ろの数値を指す
・AWSでいうt2やt3などの世代は、AzureではD2v3やD2v4など"v+数字"で表す
・上記頭文字に加えてaがついてたら、AMDプロセッサ利用と覚えれば良い
　なお、AWSの場合は、aの代わりにg(ARM Graviton)というのもある

仮想マシン上でWindows10を利用する方法

通常の仮想マシンの様に、ライセンスドな仮想マシンを立ち上げる事ができない。
基本的には別途ライセンス(Windows Enterprise E3等)を調達する必要がある。
よって、利用したい時にすぐ使えない可能性が非常に高い。
Windowsのライセンスは、AzureのサブスクリプションがCSP/EA/etc...により購買方法が変わる。
また、VisualStudio サブスクリプションや、Microsoft Gold コンピテンシーなどの特典ライセンスが利用できる場合がある。
そのため、利用する可能性あるのであれば事前に調べておく必要がある。
後、AzureのサブスクリプションはEAだが、WindowsのライセンスはCSPという状態になったり、契約関連は年度によって色々変わることが多い。
そのため、ネット上で調べる際には、出来るだけ新しい情報、1次ソース or 信頼できるところを元に調査する事。
(自分自身も3次や4次ソースとかであるし、今書いているこの文自体既に陳腐化している部分あるかもしれない…)
また、用途的に自前で仮想マシンにWindows10を立てるのではなく、WVD(Wndows Virtual Desktop)を利用した方がいいのかについても検討を行うこと。

仮想マシンのサイズ変更は起動中でも可能か？

可能である。
但し、再起動は行われる。
AWSに比べると停止→変更→起動の手間がない分便利。

なお、ライブマイグレーションでは再起動は行われないが、メンテナンスの際に利用される機能でありユーザーが選択して使える機能ではない。
メンテナンスと更新 - Azure Virtual Machines | Microsoft Learn

Aシリーズの一部が2024年8月31日に廃止

Virtual Machines シリーズ | Microsoft Azure

Basic および Standard の A シリーズの VM は、2024 年 8 月 31 日に廃止されます。

ややこしいが、AシリーズのBasicであり、Bsシリーズのことではない。

参考資料

Microsoft：意外と知らない仮想マシンの新常識

2018年11月5日～7日に開催されたMicrosoft Tech Summit 2018の資料のため、古い内容は多々有り。
但し、これより纏まった資料がWeb上では見つからなかった。
https://eventmarketing.blob.core.windows.net/mstechsummit2018-after/CI22_PDF_TS18.pdf