在以前想训练一个专属 ChatGPT，即便是小模型也动辄几百万美元，还要复杂的技术栈，让众人望而却步。
现在通过 nanochat 这个开源项目，只需 100 美元就能训练出一个完整的 ChatGPT，作者正是前特斯拉 AI 总监 Andrej Karpathy。 整个代码库只有 8000 多行、45 个文件，却实现了从分词、预训练、微调到推理的完整流程。 GitHub：github.com/karpathy/nanoc 同时支持多种评估指标，可自动生成模型性能报告，并内置 ChatGPT 风格的 Web 聊天界面，模型训练完即可对话。 在 8XH100 节点上一键运行脚本，仅需 4 小时就能完成训练，得到一个能对话、写诗写故事、回答简单问题的模型。 如果想进一步提升性能，经过 12 小时训练，它的 CORE 指标就能超越 GPT-2，花费大概在 300 美元。 对于想深入理解 LLM 训练流程的 AI 开发者来说，这是一个不可多得的学习项目，短短两天便斩获 14000+ GitHub Star。
没有评论:
发表评论