若何在 Raspberry Pi 5 上运转 DeepSeek R1

你不克不及错过这园地震变乱，英伟达市值丧失了 5890 亿美元，由于在 DeepSeek 宣称其开源 R1 模子能够供给竞争敌手 OpenAI 的 o1 模子机能后，人们对 AI 的信念遭到了袭击，用于练习其最新模子的盘算量增加了 11 倍。本文援用地点：（图片起源：Tom s Hardware）在咱们深刻研讨这个怎样做之前，让咱们先治理一下冀望。是的，你能够在 Raspberry Pi 上运转 DeepSeek，但它受 CPU 限度，因而不要指望你的查问在多少秒钟内实现。现在不官方的 AI 减速器 HAT 或插件能够减速模子。独一的方式是将 GPU 衔接到 Raspberry Pi 5 的 PCIe 衔接器，可能应用 Pineboard 的 Hat UPCIty Lite 板跟外部电源之一。这象征着 Raspberry Pi 5 比我的台式电脑处于优势，由于我的台式电脑装备了 Nvidia RTX 4070 GPU。当 ollama 运转时，它会检讨 GPU，假如找到，它将应用它。以是我的 RTX 4070 正在做全部的任务。 测试在当地运转 R1：8b，我想要一个简略的测试，我想到的第一件事是编写一些 Python 代码。提醒是：“编写一个 Python 剧本来讯问用户的姓名，将其保留到一个名为 username 的变量中，而后用他们的名字问候用户 100 次。”（图片起源：Tom s Hardware）我平日怎样处理这个成绩？三行 Python 代码，一行用于捕捉用户输入到变量，而后两行用于创立打印特性化问候语的 for 轮回。这是我教给数百逻辑学生的基础初学者 Python，那么 AI 将怎样处理它呢？username = input( What is your name?: )for i in range(100):    print( Hello ,username)测试机规格所用时光树莓派 58GB   LPDDR4X RAM，Broadcom BCM2712 2.4GHz 四核 64 位 Arm Cortex-A76 CPU8   分   01 秒 08 分钟AMD   锐龙   5 5600X32GB   DDR4 内存 AMD Ryzen 5 5600X 六核 3.7 / 4.6 GHz CPU   Nvidia RTX 4070 GPU16.12   秒Raspberry Pi 5 的代码如下 username = input().stripfor _ in range(100):    print(f”Hello, {username}”)捕捉用户输入，而后在将其调配给函数之前对其停止清算是理智之举。该条带将从捕捉的字符串中删除任何空格。应用 f 字符串打印问候语是设置输特别式的最新方式。在这种情形下，这有点过剩，但我很愉快看到先生实验这种方式。我对这段代码的埋怨是不提醒用户输入，因而在视频中有长久的耽误。值得光荣的是，PC 不复制此成绩。在 PC 上，DeepSeek 天生了这段代码。username = input(“Enter your name: “)for _ in range(100):    print(f”Hello, {username}!”)用户输入被捕捉并保留到变量中，咱们有一个输入提醒供用户呼应。其他局部与 Raspberry Pi 5 上的雷同，只是多了一个 “！” 来夸大问候语。（图片起源：Tom s Hardware）你不克不及错过 PC 跟 Pi 5 之间的时差。全部这些都是离线的，依附于运转它的装备的模子跟 CPU/GPU。PC 在 16 秒内实现了全部作，但 Pi 5 只用了 8 分钟！哎呀，PC 是在 Pi 5 仍在加载模子时实现的。然而，在 Raspberry Pi 5 上运转 LLM 是一个风趣的试验，值得花一点时光，以是让咱们在 Raspberry Pi 5 8GB 上装置一个。请留神，Raspberry Pi 5 8GB 确切是咱们实验的最低规格的 Pi 5。你能够实验应用经由调剂型号的 4GB Pi 5，但你的里程会有所差别！经由过程 ollama 在 Raspberry Pi 5 上设置 DeepSeek为了简化作，咱们将经由过程 ollama 设置 DeepSeek，这是一个收费的开源东西，任何人都能够在本人的盘算机上运转年夜型言语模子 （LLM）。咱们将应用的模子是蒸馏的 Llama 模子，它合适咱们的 Raspberry Pi 8 供给的 5GB RAM。ollama 团队表现，“DeepSeek 团队曾经证实，较年夜模子的推理形式能够提炼成更小的模子，与经由过程 RL 在小型模子上发明的推理形式比拟，机能更好。为什么咱们用这个模子而不是“真正的”DeepSeek 模子呢？仅仅由于 deepseek-r1：671b 模子的巨细为 404GB，它显然会压服 Raspberry Pi 5。借助 ollama 的剧本，在 Raspberry Pi 上装置变得十拿九稳。1. 翻开终端并确保你的 Raspberry Pi 5 正在运转最新的软件。sudo apt updatesudo apt upgrade -y2. 下载并装置 ollama 装置剧本。平日，应用来自 Internet 的剧本装置软件是一个重要的 No No。咱们毫不会在出产情况中如许做。假如你猎奇，能够将 install.sh 保留到文件中，并在应用前读取内容。curl -fsSL https://ollama.com/install.sh | sh3. 检讨版本号。咱们的版本是 0.5.7，但斟酌到 LLM 的疾速开展，你的版本可能会有所差别。假如你须要记载任何成绩或搜寻特定指南，懂得你装置的版本号老是很便利的。ollama --version4. 下载并运转 DeepSeek-r1：8b。这是一个蒸馏的 Llama 模子，合适咱们的 Raspberry Pi 8 供给的 5GB RAM。ollama run deepseek-r1:8b5. 等候下载跟装置实现。这一开端可能须要一些时光，但后续加载应当要快得多。6. 用户界面很简略，只要输入恳求/查问，LLM 就会说明跟呼应。缓缓。7. 实现后，你能够按 CTRL + D 或键入 /bye 并按 Enter 键封闭会话。Raspberry Pi 5 上的 DeepSeek 完整受 CPU 限度。它不克不及与任何 AI 减速器板一同应用。假如你具有常识跟装备，能够经由过程 Raspberry Pi 5 上的 PCIe 衔接器将其与 GPU 一同应用。因为缺少装备，咱们无奈对此停止测试，但永久临危不惧的 Jeff Geerling 确定会在未几的未来对此停止测试。