- 视觉理解(图像转文本):对输入图像进行理解与分析。
- 图像生成(文本转图像):根据文本描述生成图像。
- 图像编辑(图像转图像):基于已有图像进行修改。
视觉理解
使用支持视觉的对话模型(如gpt-4o、claude-3-5-sonnet、gemini-2.5-pro),在 messages 中同时传入文本与图像。
方式 A:传递图像 URL
方式 B:传递 Base64 编码图像
若图像为本地文件,先转为 Base64,再使用data: URI 传入:
Python 示例(本地图像转 Base64)
视觉理解的典型应用
- 图像内容描述、物体识别。
- 截图问答(如报错信息分析)。
- 表格或文档图片信息提取(OCR 与理解)。
- 图表解读。
图像生成
使用图像生成模型(如gpt-image-1、dall-e-3 等,以模型广场为准)调用 /v1/images/generations。
请求
| 参数 | 说明 |
|---|---|
model | 图像生成模型名称 |
prompt | 图像的文本描述(越具体越佳) |
n | 生成图像数量(部分模型仅支持 1) |
size | 尺寸,如 1024x1024、1792x1024、1024x1792 |
response_format | url(返回链接)或 b64_json(返回 Base64) |
cURL 示例
响应
"response_format": "b64_json",则返回:
Python 示例(生成并保存图像)
编写有效的 Prompt
- 具体描述主体、风格、构图、光线、色调及背景。
- 明确指定风格(如卡通、写实摄影、水彩画、像素风)。
- 如有不希望出现的内容,可明确说明。
图像编辑
使用/v1/images/edits 基于已有图像进行修改(如替换背景、局部重绘)。此类接口通常需上传原图(及可选的蒙版 mask),一般使用 multipart/form-data 表单方式:
计费说明
- 视觉理解:图像会被换算为一定数量的输入 Token 参与计费,图像越大或越清晰,Token 越多。
- 图像生成与编辑:通常按次固定计费(每张图像固定价格),也可能按尺寸不同而不同。
注意事项
- 确认模型能力。仅支持相应能力的模型可使用对应功能,请先在模型广场核对。
- 图像大小。过大的图像会消耗更多 Token(视觉理解)或被拒绝,必要时应先压缩。
- URL 可访问性。使用图像 URL 时,须确保该 URL 公网可访问。
后续步骤
- 向量嵌入:参阅 向量嵌入与重排序。
