环境搭建
开始LLM开发前,需要配置好开发环境。
系统要求
最低配置
- 操作系统: Windows 10+, macOS 12+, Linux (Ubuntu 20.04+)
- Python: 3.10 或更高版本
- 内存: 16GB RAM(推荐32GB)
- 存储: 50GB可用空间
- GPU: 可选,用于本地推理(推荐NVIDIA显卡)
理想配置
- GPU: NVIDIA RTX 3060/4060 (12GB+) 或更好
- 显存: 16GB+
- SSD: 高速NVMe SSD(模型加载更快)
安装Python
Windows
# 1. 下载并安装Python 3.11+
# 访问: https://www.python.org/downloads/
# 2. 验证安装
python --version
# 3. 升级pip
python -m pip install --upgrade pip
macOS
# 使用Homebrew安装
brew install python@3.11
# 验证安装
python3 --version
Linux
# Ubuntu/Debian
sudo apt update
sudo apt install python3.11 python3.11-venv
# 验证安装
python3 --version
创建虚拟环境
# 创建项目目录
mkdir llm-projects
cd llm-projects
# 创建虚拟环境
python -m venv venv
# 激活虚拟环境
# Windows:
venv\Scripts\activate
# macOS/Linux:
source venv/bin/activate
安装核心依赖
创建 requirements.txt 文件:
# LLM框架
langchain>=0.1.0
langchain-openai>=0.0.5
langchain-community>=0.0.15
# 向量数据库
chromadb>=0.4.0
# 本地LLM
ollama>=0.1.0
# 工具库
python-dotenv>=1.0.0
requests>=2.31.0
# 数据处理
pandas>=2.1.0
numpy>=1.24.0
# Web框架
streamlit>=1.29.0
安装依赖:
pip install -r requirements.txt
配置API密钥
获取API密钥
推荐LLM服务商:
- OpenAI - https://platform.openai.com
- 智谱AI - https://open.bigmodel.cn (中文优秀)
- DeepSeek - https://platform.deepseek.com (代码能力强)
- Moonshot - https://platform.moonshot.cn (性价比高)
创建环境变量文件
创建 .env 文件:
# OpenAI API
OPENAI_API_KEY=your_openai_key_here
# 智谱AI API
ZHIPUAI_API_KEY=your_zhipuai_key_here
# DeepSeek API
DEEPSEEK_API_KEY=your_deepseek_key_here
⚠️ 重要: 不要将 .env 文件提交到Git!
创建 .gitignore 文件:
.venv/
.env
__pycache__/
*.pyc
.DS_Store
验证安装
创建测试文件 test_setup.py:
import os
from dotenv import load_dotenv
from langchain_openai import ChatOpenAI
# 加载环境变量
load_dotenv()
def test_openai_connection():
"""测试OpenAI API连接"""
try:
api_key = os.getenv("OPENAI_API_KEY")
if not api_key:
print("❌ 未找到OPENAI_API_KEY")
return False
llm = ChatOpenAI(
model="gpt-4o-mini", # 使用便宜的模型测试
temperature=0.7
)
response = llm.invoke("用一句话介绍你自己")
print(f"✅ API连接成功!\n回复: {response.content}")
return True
except Exception as e:
print(f"❌ API连接失败: {e}")
return False
if __name__ == "__main__":
print("🔍 测试开发环境...\n")
test_openai_connection()
运行测试:
python test_setup.py
预期输出:
🔍 测试开发环境...
✅ API连接成功!
回复: 我是一个由OpenAI训练的大型语言模型...
安装可选工具
本地LLM部署工具
Ollama(推荐):
# macOS/Linux
curl -fsSL https://ollama.com/install.sh | sh
# Windows
# 下载: https://ollama.com/download
# 验证安装
ollama --version
# 下载一个模型测试
ollama pull mistral
# 运行模型
ollama run mistral
VS Code扩展
推荐安装以下VS Code扩展:
- Python - Python语法支持
- Jupyter - Jupyter Notebook支持
- CodeLLM - AI代码补全
- GitLens - Git增强工具
- Pylance - Python类型检查
常见问题
Q1: pip安装速度慢?
解决方案 - 使用国内镜像:
# 临时使用
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
# 永久配置
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
Q2: 没有GPU怎么办?
解决方案 - 使用云服务:
- Colab - Google免费GPU
- Paperspace - 便宜GPU实例
- RunPod - 按需付费
- Kaggle - 免费GPU
或者使用Ollama在CPU上运行(速度较慢但可用)。
Q3: API调用太贵怎么办?
解决方案 - 使用开源模型:
# 使用Ollama本地模型
from langchain_community.llms import Ollama
llm = Ollama(model="mistral")
response = llm.invoke("你好")
Q4: Windows报编码错误?
解决方案 - 设置环境变量:
set PYTHONIOENCODING=utf-8
项目结构
推荐的LLM项目结构:
llm-projects/
├── .env # 环境变量(不提交)
├── .gitignore # Git忽略文件
├── requirements.txt # Python依赖
├── venv/ # 虚拟环境(不提交)
├── notebooks/ # Jupyter笔记本
├── src/ # 源代码
│ ├── agents/ # Agent代码
│ ├── chains/ # LangChain链
│ └── utils/ # 工具函数
└── tests/ # 测试代码
下一步
环境搭建完成!接下来我们将学习LLM的核心原理。
下一步: 学习 Transformer基础架构 📚