SDK介绍
更新时间:2024-10-31
千帆ModelBuilder提供了多种语言的SDK,如Python、Go、Java和Node.js SDK。开发者可使用 SDK,快捷地开发功能,提升开发效率。SDK 支持推理服务API调用,如对话Chat、续写Completions、向量Embeddings等;也支持平台功能相关API调用,如模型管理、模型服务、模型调优等。
SDK开源说明
千帆ModelBuilder SDK已开源,欢迎广大开发者加入交流,详见千帆ModelBuilder SDK开源说明。
使用教程
平台提供了一些快速入门使用教程,帮助开发者快速上手。
- Python SDK快速入门:介绍了如何通过Python SDK,实现调用ERNIE-3.5-8K大模型对话Chat。
- Node.js SDK快速入门:介绍了如何通过Node.js SDK,实现调用ERNIE-3.5-8K大模型对话Chat。
- Go SDK快速入门:介绍了如何通过Go SDK,实现调用ERNIE-3.5-8K大模型对话Chat。
- 图像Image示例:介绍了如何使用千帆Python SDK 实现根据文本生成图片。
- 平台功能API调用示例:介绍了如何使用千帆Python SDK,实现调用模型服务-获取预置服务列表API。
SDK 支持的语言及版本
千帆ModelBuilder提供了以下语言SDK:
- Python SDK,支持 Python >= 3.7版本
- Go SDK,支持 Golang >= 1.18 版本
- Java SDK,支持 JDK >= 1.8 版本
- Node.js SDK
SDK 安装及使用说明
- Python SDK,请查看Python SDK 安装及使用说明
- Go SDK,请查看Go SDK 安装及使用说明
- Java SDK,请查看Java SDK说明文档
- Node.js SDK,请查看Node.js SDK 安装及使用说明
SDK 支持的功能
平台提供了丰富的SDK能力,包括对话Chat、续写Completions、向量Embeddings、Prompt工程、模型服务、管理、调优及数据管理等能力,详情请查看SDK功能列表。
-
推理服务相关
- 对话Chat,支持创建chat,用于发起一次对话。
- 续写Completions,支持创建completion,用于发起一次续写请求,不支持多轮会话等。
- 向量Embeddings,支持Embeddings,用于根据输入内容生成对应的向量表示。
- 图像Images,提供图像相关API能力。
- 重排序Reranker:支持重排序Reranker,用于重新排序向量模型返回的top-k文档,优化语义搜索结果
- 自定义模型:平台支持HuggingFace Transformer架构的自定义大模型导入,将自定义模型发布为服务,并支持通过相关API调用该服务。
- Token计算,根据输入计算token数。
- 批量预测:提供创建批量预测任务、获取批量预测任务详情等能力。
-
平台功能相关
- TPM配额管理:提供了购买TPM配额、查询配额信息等能力。
- 私有资源池服务付费:提供了购买算力单元实例、查询算力单元实例列表或信息等能力。
- 模型服务:提供创建服务、获取服务详情等API能力。
- 模型管理:提供获取模型、模型版本详情及将训练任务发布为模型等API能力。
- 模型调优:提供创建训练任务、任务运行、停止任务运行及获取任务运行详情等API能力。
- 数据管理:提供创建数据集、导入导出数据集等API能力。
- Prompt工程:提供模板、Prompt评估、Prompt优化等相关API能力。
- 系统记忆:提供创建系统记忆、查询系统记忆等能力。
- 实例资源自动续费:提供创建实例资源自动续费规则API能力。
命令行CLI工具
平台提供了命令行CLI工具,方便在命令行中直接使用平台功能,如提供了对话Chat、续写Completions、图像Images、数据集dataSet、训练trainer等。更多介绍详见CLI工具介绍。
模块调用
Python SDK支持以下模块相关内容调用。
- 模型训练Trainer:调用Trainer相关API,支持对数据集进行自定义训练。
- Prompt对象:提供了Prompt类型,可以更便捷地操作平台上的Prompt。
在线服务压测指南
Python SDK提供了基于locust工具的对大模型服务进行单轮、多轮快速压测以及性能评估功能。更多介绍请查看在线服务压测指南。