Mac で ComfyUI を使っていると、FP8 や INT8 の画像生成モデルを読み込んだときに、
Trying to convert Float8_e4m3fn to the MPS backend…
あるいは
The operator ‘aten::_int_mm’ is not currently implemented for the MPS device.
といったエラーが表示されることがあります。
僕も Krea2 や Z Image を試したとき、このエラーで画像を生成できませんでした。
最初は、
と思っていましたが、原因は別のところにありました。
実際に試したところ、Mac mini M4 32GB の環境では、FP8・INT8 モデルを問題なく動かせる方法がありました。
この記事では、
- なぜこのエラーが起きるのか
- Mac で FP8・INT8 モデルを動かす方法
- 実際に試した結果
を紹介します。
Mac の ComfyUI で FP8・INT8 が動かない原因
原因は、Apple Silicon の GPU（MPS）が、FP8 や INT8 の演算をまだ十分サポートしていないためです。
ComfyUI は Apple Silicon 上では PyTorch の MPS（Metal Performance Shaders） を利用して画像を生成します。
ところが、記事執筆時点では MPS が一部の FP8・INT8 演算に対応していません。
そのため、FP8 や INT8 モデルを読み込めても、画像生成が始まる途中で停止してしまいます。
つまり、
- モデルが壊れている
- ComfyUI の設定が間違っている
というわけではなく、Mac 側で未対応の演算があることが、このエラーの原因です。
どんなエラーが表示される？
実際にはモデルによって表示されるメッセージが少し違います。
僕が試したモデルでは、次のようなエラーになりました。
| モデル | エラー内容 |
|---|---|
| Krea2（FP8） | Trying to convert Float8_e4m3fn to the MPS backend but it does not have support for that dtype. |
| Z Image（INT8） Z Image Turbo（INT8） | The operator ‘aten::_int_mm’ is not currently implemented for the MPS device. If you want this op to be considered for addition please comment on https://github.com/pytorch/pytorch/issues/141287 and mention use-case, that resulted in missing op as well as commit hash 449b1768410104d3ed79d3bcfe4ba1d65c7f22c0. As a temporary fix, you can set the environment variable `PYTORCH_ENABLE_MPS_FALLBACK=1` to use the CPU as a fallback for this op. WARNING: this will be slower than running natively on MPS. |
モデルによって表示される内容は少し違いますが、原因は同じです。
どちらも Apple Silicon の MPS が FP8・INT8 の演算を処理できないことによって発生しています。
一部のエラーでは、PYTORCH_ENABLE_MPS_FALLBACK=1 を設定すると CPU を代わりに利用できると案内されています。
ただし、この方法は GPU の代わりに CPU を使うため、画像生成速度は大きく低下します。
そのため、今回は別の方法を試しました。
ComfyUI-AppleSilicon-FP8 をインストールする
今回の環境では、ComfyUI-AppleSilicon-FP8 を導入することで、FP8・INT8 モデルを読み込めるようになりました。
この ComfyUI-AppleSilicon-FP8 は、Apple Silicon 向けに FP8 や INT8 モデルを扱えるようにする拡張機能（カスタムノード）です。
カスタムノードマネージャーを開く
ComfyUI を起動したら、画面上の 「拡張機能の管理」 をクリックします。
ComfyUI-AppleSilicon-FP8 を検索する
検索欄に ComfyUI-AppleSilicon-FP8 と入力します。
Paweł Mazurkiewicz さんが公開している拡張機能が表示されるので、内容を確認してインストールします。
ComfyUI を再起動する
インストールが終わったら、ComfyUI を再起動します。
これだけで準備は完了です。
特別な設定を変更したり、環境変数を追加したりする必要はありません。
インストールだけで動くようになった
僕も最初は、「独自のワークフローを用意しないといけないのかな？」と思っていました。
実際には、
- 拡張機能 ComfyUI-AppleSilicon-FP8 をインストール
- ComfyUI を再起動
この2つだけでした。
あとは普段どおりテンプレートを開いて（必要に応じてモデルをダウンロードし）画像生成するだけです。
実際に試してみた
実際に、ComfyUI-AppleSilicon-FP8 をインストールした状態で、FP8・INT8 モデルを試してみました。
実際に試した環境
- Mac mini M4（32GB）
- macOS 26.5.1
- ComfyUI 0.28.2
- ComfyUI-AppleSilicon-FP8 インストール済み
この環境では、Krea2・Z Image・Z Image Turbo の FP8・INT8 モデルを問題なく画像生成できました。
Krea2（FP8）
まず試したのは Krea2 の FP8 モデルです。
モデルをダウンロードし、テンプレートをそのまま実行したところ、エラーは発生せず最後まで画像を生成できました。
Z Image（INT8）
続いて Z Image の INT8 モデルを試しました。
こちらも途中で停止することなく、そのまま画像生成が完了しました。
INT8 モデルでも Mac 上で最後まで動作することを確認できました。
Z Image Turbo（INT8）
最後に Z Image Turbo を試しました。
Z Image (Base) と同様に、INT8 モデルでも Mac 上で最後まで動作することを確認できました。
拡張機能を無効にするとどうなる？
「本当にこのカスタムノードのおかげなのかな？」と思ったので、ComfyUI-AppleSilicon-FP8 を無効にして、同じモデルでもう一度試してみました。
結果は次のとおりです。
| モデル | 拡張機能ON | 拡張機能OFF |
|---|---|---|
| Krea2（FP8） | ○ | × |
| Z Image（INT8） | ○ | × |
| Z Image Turbo（INT8） | ○ | × |
無効にすると、以前と同じエラーが表示され、画像生成は途中で停止しました。
つまり、今回試した環境では ComfyUI-AppleSilicon-FP8 を導入したことが、画像生成できるようになった大きな理由だと考えています。
試して感じたこと
僕はこれまで Mac では BF16 モデルや GGUF モデルを中心に試してきました。
今回の検証で、FP8 や INT8 モデルも普通に動かせるようになり、Mac で使えるモデルの選択肢が一気に広がったと感じています。
もちろん、今後 ComfyUI や PyTorch の更新で状況が変わる可能性はあります。
それでも、記事執筆時点では インストールして再起動するだけで FP8・INT8 モデルが使えるようになったのは、かなり大きな収穫でした。
GGUF に置き換える方法もある
ComfyUI で画像生成モデルを軽量化して使う方法は、FP8 や INT8 だけではありません。
以前紹介した GGUF モデルも、Mac で扱いやすい選択肢のひとつです。
GGUF は、画像生成モデルを量子化したファイル形式で、対応したカスタムノードを使うことで ComfyUI から利用できます。
僕も実際に、
- Z Image
- Z Image Turbo
- Ernie Image Turbo
などを GGUF に置き換えて試しています。
FP8・INT8 は、元のテンプレートをそのまま使えるモデルが増えてきている一方、GGUF はモデルを差し替えて利用する形になります。
そのため、
- FP8・INT8 モデルが公開されているなら ComfyUI-AppleSilicon-FP8 を使う
- GGUF しか公開されていないモデルなら GGUF を利用する
というように、モデルに合わせて使い分けるのがおすすめです。
GGUF の導入方法については、こちらの記事で詳しく紹介しています。
FP8・INT8 と GGUF はどちらがおすすめ？
「結局、FP8・INT8 と GGUF のどちらを使えばいいの？」と思うかもしれません。
実際に使ってみると、どちらが優れているというより、用途によって向いている場面が違うと感じました。
FP8・INT8 が向いている人
今回紹介した方法が一番活きるのは、
- ComfyUI の公式テンプレートをそのまま使いたい
- Hugging Face などで公開されている FP8・INT8 モデルをそのまま試したい
- モデルの置き換えをせず、そのまま画像生成したい
という場合です。
今回試した Krea2 や Z Image も、この方法ならそのまま動かせました。
GGUF が向いている人
一方で GGUF は、
- ダウンロード容量を少しでも抑えたい
- GGUF が公開されているモデルを使いたい
- モデルを置き換えて運用したい
という人には便利です。
僕も前のセクション（GGUF に置き換える方法もある）で紹介した方法で、ComfyUI のテンプレートを GGUF に置き換えて使っています。
実際には、
- GGUF が公開されているモデルなら GGUF
- FP8・INT8 しか公開されていないモデルなら今回の方法
という使い分けになることが多いと思います。
Mac で使える選択肢が増えた、と考えるのが一番しっくりきています。
GGUF の出力に問題がなければそのまま使い、劣化が目立つようなら、INT8、FP8、BF16 のようにモデルの変えて出力し、結果を比較してみるのもいいかもしれません。
まとめ
Mac の ComfyUI では、「FP8 や INT8 のモデルは動かない」という場面が多くありました。
実際に僕も、
- Krea2
- Z Image
- Z Image Turbo
を読み込んだところ、すべてエラーで止まってしまいました。
ところが 拡張機能 ComfyUI-AppleSilicon-FP8 を導入すると、FP8 や INT8 のモデルで画像生成できるようになりました。
もちろん、今後 PyTorch や ComfyUI の更新によって状況が変わる可能性はあります。
それでも記事執筆時点では、この方法が簡単な解決方法でした。
Mac ではこれまで BF16 や GGUF が中心でしたが、今回の実験で FP8・INT8 という選択肢も加わりました。
対応するモデルが増えてくれば、Apple Silicon でも試せる画像生成モデルの幅は、これからさらに広がっていきそうです。
もし、
- Trying to convert Float8_e4m3fn…
- aten::_int_mm is not currently implemented for the MPS device
というエラーで困っているなら、一度 ComfyUI-AppleSilicon-FP8 を試してみてください。
僕の環境では、Krea2・Z Image・Z Image Turbo の3つで正常に画像生成できることを確認できました。
