Python on M1KE BL0G

Pythonのcontext managerとgeneratorについて

Wed, 22 Nov 2023 21:51:09 +0900

背景

時たま必要になるpythonの細かい所メモ

context manager

context managerの目的

__enter__ と __exit__ を持つオブジェクトがコンテキストマネージャ
with文で「入る・出る」を強制できる
ファイルclose、接続切断、ロック解放、トランザクション終了などに使う
goでいうdeferに近い

1
2
3


with open("a.txt") as f:
 data = f.read()
# ここに来た時点で自動で f.close() される

同期context managerの例

I/F的には、enterとexitのメソッドを持つクラス。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16


class MyContext:
 def __enter__(self):
 print("入室")
 return self # これがwith MyContext() as xのxになる

 def __exit__(self, exc_type, exc_val, exc_tb):
 print("退室")

# 使い方
with MyContext():
 print("作業中")

# output
# 入室
# 作業中
# 退室

同期context managerを関数で作る

関数でもcontext managerは作れる。

1
2
3
4
5
6
7
8
9


from contextlib import contextmanager

@contextmanager
def my_context():
 print("入る")
 try:
 yield
 finally:
 print("出る")

generatorはデコレーターでcontext managerにもできる。

※:

with ... as x: の xはyieldの値
yield は必ず1回
yield 前 = enter
yield 後 = exit
yield しない / 複数回 → エラー

非同期のcontext manager

__aenter__、__aexit__を実装する
async withで使う

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


import asyncio

class AsyncResource:
 async def __aenter__(self):
 print("接続開始")
 await asyncio.sleep(1) # 非同期I/O
 return self

 async def __aexit__(self, exc_type, exc, tb):
 print("接続終了")
 await asyncio.sleep(1)

使用:

1
2


async with AsyncResource() as r:
 print("使用中")

同期と非同期のキーワードの違い

種類	構文	中で使うメソッド
同期	`with`	`__enter__`, `__exit__`
非同期	`async with`	`__aenter__`, `__aexit__`

exitstack

終了処理の順番を担保したもの。

1
2
3
4
5
6
7


from contextlib import ExitStack

with ExitStack() as stack:
 if use_http:
 session = stack.enter_context(make_session()) # 片付けを自動登録
 if use_lock:
 lock = stack.enter_context(acquire_lock()) # 片付けを自動登録

こうすることで、lockを外して、sessionを閉じるを順序よくできる。つまり、次のコードを自動化したようなもの。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


session = None
lock = None

try:
 if use_http:
 session = make_session()
 if use_lock:
 lock = acquire_lock()
 # 何か処理…
finally:
 if lock:
 lock.release()
 if session:
 session.close()

generator

generatorの目的

「値を一気に作らず、必要になったら順に作って返す仕組み」（遅延評価）
yield を使う関数、またはジェネレーター式で作る
1個ずつ順番に値を返せる（巨大データや無限列に強い）

同期generator

1
2
3
4
5
6
7
8
9


def count_up():
 n = 0
 while True:
 yield n
 n += 1

g = count_up()
next(g) # 0
next(g) # 1

非同期generator

定義

1
2
3
4


async def agen():
 for i in range(3):
 await asyncio.sleep(1)
 yield i

これを回すにはasync forを使う。

1
2


async for x in agen():
 print(x)

同期と非同期のキーワードの違い

種類	生成	ループ
同期	`yield`	`for`
非同期	`yield` + `await`	`async for`

同期generatorをクラスで作る

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


class CountUp:
 def __init__(self, limit):
 self.n = 0
 self.limit = limit

 def __iter__(self):
 return self

 def __next__(self):
 if self.n >= self.limit:
 raise StopIteration
 value = self.n
 self.n += 1
 return value

使い方:

1
2
3


for x in CountUp(3):
 print(x)
# 0, 1, 2

__iter__ → イテラブルを返す
__next__ → 1ステップ進める
StopIteration → 終了シグナル

まとめ

context managerやgeneratorはヌルっと使う場面が多いので覚えておいて損はなし！

Jupyterの設定メモ

Thu, 09 Nov 2023 13:21:22 +0900

背景

Jupyterの設定のメモをここに残す
理由は、毎回リポジトリ毎にJupyterをインストールして消してを繰り返すため
公式のDockerのJupyterLabのImageを使ってもいいが、今回はホストマシンにインストールする

NOTE: 便宜上形式的に、Jupyter NotebookやJupyterLabの総称としてJupyterを使う。

Jupyterの設定

前提

Ubuntuで次のパッケージがインストールされている事を前提とする。

Python >3.7
Node > 16

Jupyterのインストール

下記でインストールする。

1

$ pip install jupyterlab

また、RStudioと同じように変数一覧をするvariableinspectorと、VIMが使えるようになるjupyterlab_vimも合わせてインストールする。

1
2


$ jupyter labextension install @lckr/jupyterlab_variableinspector
$ jupyter labextension install @axlair/jupyterlab_vim

最後によく使うJupyterで使うパッケージもインスコする。なお、GPUを使うTorchなどは環境に合わせてインストールする。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


$ pip install jupyter-black
$ pip install python-dotenv
$ pip install tqdm
$ pip install scipy
$ pip install numpy
$ pip install requests
$ pip install openai
$ pip install opencv-python
$ pip install matplotlib
$ pip install pandas
$ pip install scikit-learn
$ pip install scikit-image
$ pip install tensorflow
$ pip install "torch==1.4.0+cpu" "torchvision==0.5.0+cpu" -f https://download.pytorch.org/whl/torch_stable.html

Jupyterの起動

次のように起動するとJupyterのトークンをスキップできる。もしくは、jupyter notebook --generate-configコマンドなどを利用して、設定しても良い。

1

$ jupyter lab --ip='*' --NotebookApp.token='' --NotebookApp.password=''

お決まり

お決まりの実験手法

まず、お決まりの実験手法としてsrcとnotebooksに分離する
コードはsrc、実行はnotebooksに残す
理由は、数百行のコードをnotebooksのエディタでスムーズに開発するのは困難なため

フォルダ構成

下のようなフォルダ構造を作る
srcとnotebooksのフォルダを分けて使うのを想定する
ファイル名は00_xxx.ipynbのようにSort番号を入れる
srcの場合は、epx_01.pyのようにする
- expの接頭辞をつける理由は、importがそれがないとできないため
  - expはexperimentの意味

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


- document root
 - .env
 - src
 - exp_01.py
 - exp_02.py
 - exp_03.py
 - notebooks
 - 01_xxx.ipynb
 - 02_xxx.ipynb
 - 03_xxx.ipynb
 - datasets

dotenvを使ってenvファイルを読むので、次のような.envファイルを用意する。

1

DATA_ROOT=./data

ノートブックの構成

ノートブックの中ではHeadingのToggleが効くので、次のような構成する。

マジックコマンド
import文
srcの関数の読み込み
メイン処理

マジックコマンド

次のマジックコマンドはいつも使うコマンドなので定型文となる。

1
2


%pwd
%cd ../

1
2
3


%load_ext autoreload
%load_ext dotenv
%load_ext jupyter_black

1
2
3


%autoreload 2
%dotenv
%matplotlib inline

Import文

次のImport文などは、お決まりのimport文になる。

1
2
3
4
5
6
7


import sys
import os
from PIL import Image
import numpy as np
import pandas as pd
import cv2
import matplotlib.pyplot as plt

お決まり文

画像のサイズの調整。

1

plt.figure(figsize=(15,8))

srcに置いたスクリプトの読み込み。

1
2
3


notebook_path = os.path.abspath(os.getcwd())
src_path = os.path.join(notebook_path, "src")
sys.path.append(src_path )

Jupyterのカーネルの追加

次のようにしてpyenv local xxxで固定したバージョンのkernelを用意する。

1
2


$ pip install ipykernel
$ python -m ipykernel install --user --name pyenv-kernel

出力のキャプチャ

Printなどで出した出力のキャプチャ方法。

まずは、出力したいセルでcaptureを打つ。

1
2


%%capture output
print("need to be captured")

その後、新しいセルで保存する。

1
2


with open("output.txt") as f:
 f.write(output.stdout)

画像の文字化け対応

背景

matplotlibで画像を表示したときに文字化けすることがある
対策としてはmatplotlibにIPAフォントを適用すること

IPAフォントのインストール

次でIPAfontのインスコ。

1
2


$ sudo apt install -y fonts-ipafont
$ fc-cache -fv

次のコマンドで確認。

1
2
3
4
5
6
7


$ fc-list | grep -i ipa
/usr/share/fonts/opentype/ipafont-mincho/ipam.ttf: IPAMincho,IPA明朝:style=Regular
/usr/share/fonts/opentype/ipafont-gothic/ipagp.ttf: IPAPGothic,IPA Pゴシック:style=Regular
/usr/share/fonts/opentype/ipafont-mincho/ipamp.ttf: IPAPMincho,IPA P明朝:style=Regular
/usr/share/fonts/opentype/ipafont-gothic/ipag.ttf: IPAGothic,IPAゴシック:style=Regular
/usr/share/fonts/truetype/fonts-japanese-mincho.ttf: IPAMincho,IPA明朝:style=Regular
/usr/share/fonts/truetype/fonts-japanese-gothic.ttf: IPAGothic,IPAゴシック:style=Regular

jupyterのキャッシュの削除

Ubuntuの場合は次のように行った。

1

$ rm ~/.cache/matplotlib/fontList.json

ファイルパスの設定

まずは設定ファイルのパスを確認。

1
2


import matplotlib
print(matplotlib.matplotlib_fname())

/home/mike/.config/matplotlib/matplotlibrc となった。

次で設定ファイルの確認。

1

$ cat /home/mike/.config/matplotlib/matplotlibrc

font.family : IPAGothicとなった。

画像のテスト

試しにJupyterの中で試してみる。

1

plt.title("日本語title")

日本語が文字化けしなくなったのでOK。

blackで自動フォーマット

インストールは次。

1

$ pip install jupyter-black

利用方法はエクステンションを読み込むだけ。

1

%load_ext jupyter_black

その後、そのNotebookのCellは保存時に自動的にBlackのフォーマットがかかる。

参考文献

Pythonでプロジェクトを作る時に使うコマンド

Mon, 30 Oct 2023 02:11:25 +0900

背景

Pythonでプロジェクトを始めるときにいつも実行するコマンドがある
ただ時々忘れるし、コピペですましたいのでメモとして残す

（追記）最近はdeadsnake + uvになった。

前提

必要なパッケージ

予め、次のCLIを入れて、Pathを通しておく必要がある。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20


$ python --version
Python 3.9.5

$ pyenv --version
pyenv 2.3.6-7-g19359de7

$ poetry --version
Poetry (version 1.2.2)

$ conda --version
conda 23.7.4

$ pre-commit --version
pre-commit 3.0.4

$ pip show pip-tools | grep Version
Version: 7.4.1

$ uv --version
uv 0.10.12 (x86_64-unknown-linux-gnu)

他にも、有名どころでは、Pipenvやpip-toolsがあるが、使用している環境に合わせて利用する。

開発環境について

大きく次の3つのパターンがある。なお、venvとvirtualenvはpythonのバージョン管理ツールは含まれないため、 pyenvも併用する必要がある。

venv
- Python 3.3 以降の標準ライブラリ
- python -m venvコマンドで利用が可能
virtualenv
- venvよりも高機能な仮想環境を作る外部パッケージ
- poetryは内部でvirtualenvを使っている
anaconda
- Pythonの環境管理ツール
- pyenv + virtualenvを内包したようなツール

venvとvirtualenvは似ているが実は違うパッケージなので用語の混合に注意。

pyenv

pythonのインストール

次のようにpythonのバージョンを指定してインストールする。

1

$ pyenv install 3.9.5

pythonのローカルのバージョンを変更する

virtualenvもanacondaもpyenvを使ってローカルのpythonのversionを変えた方がいい。

まずインストールしているversionの確認。ここに既にあったらそれを利用する。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


$ pyenv versions
 system
 3.6.9
 3.7.4
 3.7.9
 3.8.9
* 3.9.5 (set by /home/mike/workspace/xxx/.python-version)
 3.9.9
 3.9.15
 3.10.1

利用方法は次のコマンド。

1

$ pyenv local 3.9.5

これでpythonのPATHとVersionが変更される。

1
2
3
4
5


$ which python
/home/mike/workspace/xxx/.venv/bin/python

$ python --version
Python 3.9.5

ない場合はインストールする。

1

$ pyenv install 3.9.5

venvを使う場合

環境の作成

まず、次で、.venvフォルダを生成する。

1

$ python -m venv .venv

環境の削除

削除は以下。

1

$ rm -rf .venv

環境の有効化

その後activateする（使用しているshellによってファイルが違う）。

1

$ source .venv/bin/activate

windowsの場合は以下。

1

$ .venv\Scripts\activate.ps1

Fishの場合は以下。

1

$ source .venv/bin/activate.fish

環境の無効化

disactivateの方法は次。

1

$ exit

uv

uvの初期化

1

uv init

uvで追加と削除

1
2


uv add xxx
uv remove xxx

uvでvenvを作る

1

uv venv

ここが一番大事。Nixでpyenvを入れている場合は、pythonを作るときは/usr/binのを使うのがベスト。

1

uv venv --python /usr/bin/python3.12

でないと、CUDAなどを実行するときは、エラーがでる。

poetryを使う場合 (virtualenv)

virtualenvの環境の初期設定

pyproject.tomlがない場合は次で生成する。

1

$ poetry init

virtualenvの環境の作成と有効化

ある場合は次でshellに入る。--pythonでpythonを指定できる。

1

$ poetry shell --python=$(which python)

なお、poetry shellした際に、pythonのバージョンが違う場合は、次のコマンドで直す。

1
2
3
4


$ exit # 一旦poetry shellから抜ける
$ python --version
3.9.5
$ poetry env use $(which python)

上記はpyenvで入れた3.9.5をlocalで使い、それをpoetry shellで利用する例。

virtualenvの環境の削除

環境の削除は以下。

1

$ rm -rf .venv

poetryでのパッケージの追加と削除

パッケージをインストールするには次を使う。

1
2


$ poetry add xxx
$ poetry remove xxx

poetryでバージョンの更新

パッケージのバージョンを更新する時は次を使う。

1

$ poetry add xxx@0.1.1

poetryでrequirements.txtの作成

次のコマンドを利用して作成する。

1

$ poetry export -f requirements.txt > requirements.txt

poetryでバージョンの確認

次のコマンドでバージョンの確認を行う。

1

$ poetry show xxx

poetry add が遅い時の対処

IPv6でアクセスしようとして、遅くなった事があった。

1
2


$ sudo sysctl -w net.ipv6.conf.all.disable_ipv6=1
$ sudo sysctl -w net.ipv6.conf.default.disable_ipv6=1

poetry newでsrcからパッケージを作る

次のように--srcオプションでsrcフォルダから作ることが可能。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


$ poetry new --src my_project
my_project/
│
├── src/
│ └── my_project/
│ └── __init__.py
│
├── tests/
│ ├── __init__.py
│ └── test_my_project.py
│
├── pyproject.toml
└── README.rst

poetry new vs. poetry init

違いは次の通り。

poetry new
- 新しいプロジェクトの完全な骨格を生成する
poetry init
- pyproject.tomlを生成する為に使う
- 既存のプロジェクトに Poetry のサポートを追加するために使用する

condaを使うパターン

環境の一覧

まずenvの一覧を確認する。

1
2
3
4
5
6


$ conda env list

# conda environments:
#
base /home/mike/anaconda3
graphtsr /home/mike/anaconda3/envs/xxx

環境の作成と削除

シンプルに次のコマンドで環境を作る。 python=xxxでpythonのバージョンの指定も可能。

1

$ conda create --name myenv python=3.6

削除は以下。

1

$ conda env remove --name graphtsr

環境の有効化

アクティベーションは次のコマンドを使用する。

1

$ conda activate myenv

環境の無効化

deactivateは次となる。

1

$ conda deactivate

環境の保存

環境のoutputは次のコマンドを利用する。

1

$ conda env export > myenv.yaml

このyamlさえあれば、別の環境でも再現ができる。

1

$ conda env create --file myenv.yaml

パッケージの追加と削除

パッケージをインストールするには次を使う。

1
2


$ conda install xxx
$ conda uninstall xxx

pip

パッケージの追加と削除

パッケージをインストールするには次を使う。

1
2


$ pip install xxx
$ pip uninstall xxx

インストール済みパッケージの保存

環境を保存するには次のコマンドを利用する。

1

$ pip freeze > requirements.txt

パッケージの一括インストール

freezeしたパッケージのインストールは次を使う。

1

$ pip install -r requirements.txt

pip でバージョンの確認

次のコマンドでバージョンの確認を行う。

1

$ pip show xxx

pipの鉄板コマンド

以下のコマンドはpipを使う上で、鉄板のコマンド。

1
2


$ pip install -U pip
$ pip install -U setuptools

pip-tools

pip-toolsでバージョン更新

一辺にバージョンを上げるには次の方法を使う。

1
2
3


$ pip freeze | sed -E 's/==.*//g' > requirements.in
$ pip-compile --upgrade
$ pip install -r requirements.txt

これで、依存関係の整合性を保ちながらupgradeができる。
sedでバージョンを抜いている。

pre-commitのセットアップ

次に設定ファイル（.pre-commit-config.yaml）の例を示す。

1
2
3
4
5
6
7


repos:
 - repo: https://github.com/pre-commit/pre-commit-hooks
 rev: v3.4.0
 hooks:
 - id: trailing-whitespace
 - id: end-of-file-fixer
 - id: check-yaml

その後installする。

1
2


$ pre-commit install
pre-commit installed at .git/hooks/pre-commit

pre-commit

pre-commitをcommitせずに適用

commitせずにpre-commitを走らせたい場合は、次のコマンドを利用する。

1

$ pre-commit run --all-files

その他

環境変数の読み込み

例として、次のようなDjangoの.envファイルを用意する。

1
2
3


DJANGO_SETTINGS_MODULE=mysite.settings_dev
DJANGO_SUPERUSER_USERNAME=admin
DJANGO_SUPERUSER_PASSWORD=admin

その後、env.shを容易する。

1
2
3


#!/bin/bash

export $(cat .env | grep -v "#")

これを現在のshellで読み込む。

1

$ source env.sh

次のように、環境変数が読み込まれているか確認できる。

1
2
3
4


$ env | grep DJANGO
DJANGO_SUPERUSER_PASSWORD=admin
DJANGO_SETTINGS_MODULE=mysite.settings_dev
DJANGO_SUPERUSER_USERNAME=admin

.gitignore

gitignoreはgitignore/Python.gitignore at main · github/gitignoreを参照にする。

poetryのおすすめの設定

総じて、parallelとvirtualenvをin-projectで作るのはおすすめ。

1
2
3
4


$ poetry config --list
installer.parallel = true
virtualenvs.create = true
virtualenvs.in-project = true

packageがyankedされた場合

yankedされたパッケージとは、いわゆる壊れたパッケージの事
パッケージがyankedされたパッケージを使いたい場合は、versionを指定してインストールする
see PEP 592

$VIRTUAL_ENVとは

仮想環境がアクティベートされると、VIRTUAL_ENV 環境変数の値が仮想環境へのパスに設定される。

1
2


$ echo $VIRTUAL_ENV
/home/mike/playground/xxx/.venv

pythonのversionによる問題の解決

次のようなpyproject.tomlで、

1
2


[tool.poetry.dependencies]
python = ">=3.10"

unstructuredというpkgを入れたら次のエラーがでた。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20


$ poetry add unstructured

Using version ^0.13.2 for unstructured

Updating dependencies
Resolving dependencies... (0.1s)

The current project's supported Python range (>=3.10,<4.0) is not compatible with some of the required packages Python requirement:
 - unstructured requires Python <3.12,>=3.9.0, so it will not be satisfied for Python >=3.12,<4.0

Because no versions of unstructured match >0.13.2,<0.14.0
 and unstructured (0.13.2) requires Python <3.12,>=3.9.0, unstructured is forbidden.
So, because rag2 depends on unstructured (^0.13.2), version solving failed.

 • Check your dependencies Python requirement: The Python requirement can be specified via the `python` or `markers` properties

 For unstructured, a possible solution would be to set the `python` property to ">=3.10,<3.12"

 https://python-poetry.org/docs/dependency-specification/#python-restricted-dependencies,
 https://python-poetry.org/docs/dependency-specification/#using-environment-markers

エラー内容にもある通り、次のようにpyproject.tomlを設定した再度インストールしたらら、なおった。

1
2


[tool.poetry.dependencies]
python = ">=3.10,<3.12"

これはpyprojectのpythonとunstructuredのpythonのバージョン制約がマッチしなかったらら
pythonのバージョン制約
- pyproject
  - （>=3.10,<4.0）
- unstructured
  - （<3.12,>=3.9.0）
既にpython3.10が入っていたので、大本のpythonバージョンの制約を（>=3.10,<3.12）に変えればOKだった

pytestのwarningを非表示化

poetry.tomlに次を足してwarningを消せる。

1
2


[tool.pytest.ini_options]
filterwarnings = ["ignore::DeprecationWarning"]