grapevine-AI/DeepSeek-R1-0528-Qwen3-8B-GGUF

What is this?

DeepSeek (深度求索)が公式自らDeepSeek-R1-0528をQwen3-8Bに蒸留したThinkingモデル、DeepSeek-R1-0528-Qwen3-8BをGGUFフォーマットに変換したものです。

imatrix dataset

日本語能力を重視し、日本語が多量に含まれるTFMC/imatrix-dataset-for-japanese-llmデータセットを使用しました。

Note

BF16推論時のElyza_tasks 100スコアは3.95でした（Gemini 2.0 Flashで採点）。

Environment

Windows版llama.cpp-b5215および同時リリースのconvert-hf-to-gguf.pyを使用して量子化作業を実施しました。

License

MIT License

Developer

Alibaba Cloud & DeepSeek (深度求索)