智能剪辑 - 素材混剪

智能剪辑 · 素材混剪

提交素材混剪视频任务。当前应用仅支持 audioUrl 或素材输入链路;提交时如果传入 content 或 speakerId,平台会返回不支持该分支的明确错误。

基本信息

字段内容
应用编码smart_clip
API 编码broadcast_mixcut
请求方式POST
请求路径/api/v1/apps/smart_clip/broadcast_mixcut
调用模式异步

请求参数

参数类型必填默认值可选值 / 范围说明
styleIdstring是--视频模板ID
titlestring否--标题;如果期望生成的视频不显示标题,请不要设置标题值
audioUrlstring否-mp3 / wav / m4a音频URL,与content字段二选一;当前应用仅支持 audioUrl 或素材输入链路,平台会探测该媒体时长用于计费
contentstring否-3-1800字符文本,与audioUrl字段二选一;当前应用不支持 content + speakerId 定制声音分支
languagestring否--语种,特指音频(audioUrl)对应的语种,语种参考ASR支持的语种
speakerIdstring否--音色ID;当前应用不支持 content + speakerId 定制声音分支
speakerExtraobject否--音色扩展参数;当前应用不支持 content + speakerId 定制声音分支
materialsarray是-image / video素材,每项包含 type、fileUrl、soundSwitch;缺少 audioUrl 时平台会探测素材媒体时长用于计费
introduceCardobject否--身份栏信息,包含 name、description
packRulesobject否--包装规则:仅用于控制标题、素材、字幕、关键词、背景音乐等是否参与模板效果包装
processRulesobject否--处理规则,支持 watermarkShow、metadata、firstFrameCover
structLayersarray否--需要修改的图层数据
subtitlearray否--字幕信息(兼容subtitles字段),每项包含 startMs、endMs、text
callbackUrlstring否-HTTPS URL结果通知回调地址,由平台在任务完成或失败后通知

视频生成方式

参考文档支持两种方式:

方式字段说明
文本内容 + 定制声音content + speakerId文本字符数要求 3-1800,声音 ID 为定制声音产生的声音 ID
音频文件audioUrl音频时长小于 5 分钟,格式 mp3、wav、m4a,文件大小小于等于 100MB,需要能够语音转文本

当前平台应用仅支持 audioUrl 或素材输入链路,不支持 content + speakerId 定制声音分支。若传入 content 或 speakerId,平台会返回 unsupported_speaker_branch。

speakerExtra

字段类型必填默认值 / 范围说明
speedRationumber否默认 1,范围 0.5-2语速,支持 1 位小数,1 表示常速,例如 0.6、0.9、1.2
languagestring否-语种,特指该克隆声音文本(content)支持的语种
marksarray否-文本标记特殊处理处,传 content 时有效
marks[].typestring是break标记类型,break 表示停顿
marks[].indexinteger是从 0 开始文本索引处,最大值为 content 文本长度
marks[].timeinteger是100-10000时长,单位 ms

processRules

字段类型必填默认值说明
watermarkShowboolean否false是否添加“AI生成”字样水印
metadataobject否-元水印数据,仅支持写入一组数据,且 value 值需为字符串
firstFrameCoverobject否-首帧封面配置

重要规则

  • 音频驱动的 audioUrl、素材 materials[].fileUrl、背景音乐 packRules.backgroundMusic.audioUrl、AI 封面的 resultImageUrl 地址不能重名,重名会导致渲染异常。
  • packRules 仅用于控制标题、字幕、素材、背景音乐、关键词等图层是否参与效果包装,不能控制对应图层的显示/隐藏。
  • 如果期望生成的视频不显示标题,请不要设置标题值。
  • callbackUrl 作为平台任务通知地址保存,任务完成或失败后由平台发起通知。
  • 如无法解析有效输入媒体时长,本次请求会被拒绝,不使用默认时长。

通用对象字段

subtitle[]

字段类型必填说明
startMsinteger是时间戳开始,单位 ms
endMsinteger是时间戳结束,单位 ms,最大支持 310000ms
textstring是文本,只支持单字符级别

materials[]

字段类型必填可选值 / 默认值说明
typestring是image / video素材类型
fileUrlstring是-素材url
soundSwitchboolean否false当素材为视频时原声开关,素材混剪和新闻体视频支持

introduceCard

字段类型必填说明
namestring否名称
descriptionstring否描述

packRules

字段类型必填默认值说明
headerSwitchboolean否-标题包装开关
materialSwitchboolean否-素材包装开关
subtitleSwitchboolean否-字幕包装开关
keywordSwitchboolean否-关键词包装开关
backgroundMusicobject否-背景音乐设置
backgroundMusic.audioSwitchboolean否-音乐开关
backgroundMusic.audioUrlstring否-音频url,模板内置背景音乐和传递audioUrl,优先使用audioUrl
backgroundMusic.volumenumber否0.3音量,保留一位小数,范围 0-1

processRules.firstFrameCover

字段类型必填默认值说明
coverSwitchboolean否false封面开关
templateIdstring否-模版ID,如果未设置则系统匹配
imageUrlstring否-图片地址,用于生成AI封面图的底图,imageUrl 和 resultImageUrl 二选一必填
resultImageUrlstring否-图片生成接口的结果图片地址或其他封面图片地址;传了此值将直接运用作为视频首桢封面,优先级更高

structLayers[]

字段类型必填可选值说明
markCodestring是headerLayer / subtitleLayer / ipLayer / backgroundLayer / figureLayer图层,对应模板详情接口返回的图层数据
showboolean否-是否显示,不设置时默认跟随模板;backgroundLayer、figureLayer 不支持设置,默认显示
showModestring否always / customize显示模式,markCode=headerLayer 时生效,不设置时默认跟随模板
showTimenumber条件必填大于 0显示时长,markCode=headerLayer 且 showMode=customize 时生效且必填,保留 3 位小数
layer.transform.positioninteger[]否-锚点定位,对应模板详情 transform.position
layer.uristring否-背景图片资源链接,仅 backgroundLayer 生效

素材与媒体要求

  • 输入视频格式:mp4、mov;视频编码 h264、HEVC(h265);帧率 10-60fps,推荐 25;单边分辨率小于 2000px。
  • 真人口播 videoUrl 时长小于 5 分钟,文件大小小于 500MB,视频中的音频需要能够语音转文本。
  • 素材总量限制:单张图片计算为 2 秒,单个视频素材不能超过 60 秒,所有素材总时长不能超过 5 分钟。
  • 素材图片格式支持 jpg、png、webp 静态图,单边分辨率小于 2000px。
  • 素材视频格式支持 mp4、mov,单个视频小于 500MB,单边分辨率小于 2000px。
  • 背景音乐格式支持 mp3、wav、m4a,文件大小不超过 120MB,时长不超过 5 分钟。
  • 首帧封面 imageUrl、resultImageUrl 格式支持 jpg/jpeg、png,文件大小不超过 10MB,单边分辨率小于 2000px。

请求示例

{
  "styleId": "68aebb91b8619ed6f4168f40",
  "audioUrl": "https://example.com/a.mp3",
  "title": "聊AI行业",
  "language": "zh-CN",
  "materials": [
    {"type": "image", "fileUrl": "https://example.com/a.jpg", "soundSwitch": false},
    {"type": "video", "fileUrl": "https://example.com/b.mp4", "soundSwitch": false}
  ],
  "introduceCard": {
    "name": "廖志勇",
    "description": "AI行业领军人物"
  },
  "packRules": {
    "headerSwitch": true,
    "materialSwitch": true,
    "subtitleSwitch": true,
    "keywordSwitch": true,
    "backgroundMusic": {
      "audioSwitch": true,
      "audioUrl": "https://example.com/bg.mp3",
      "volume": 1
    }
  },
  "processRules": {
    "watermarkShow": true,
    "metadata": {
      "AIGC": "{"Label":"1","ContentProducer":"AI服务提供者的名称或统一社会信用代码等","ProduceID":"XXXXXXXXXXXXXXXXXXX"}"
    }
  },
  "subtitle": [
    {"startMs": 0, "endMs": 500, "text": "A"},
    {"startMs": 500, "endMs": 1000, "text": "I"}
  ],
  "callbackUrl": "https://example.com/hook"
}

成功响应

{
  "code": 1,
  "msg": "success",
  "data": {
    "task_id": "task_xxxxxxxxxxxx",
    "status": "processing",
    "app": "smart_clip",
    "api": "broadcast_mixcut"
  }
}

响应字段

字段类型必返说明
task_idstring是平台任务 ID
statusstring是平台任务状态,提交后通常为 processing 或 queued
appstring是应用编码,固定为 smart_clip
apistring是API 编码

任务结果

任务完成后,平台任务查询结果中的 result 通常包含:

字段类型说明
video_urlstring视频url地址,视频生成类任务返回
cover_urlstring视频封面url地址
durationnumber生成的视频或音频时长,单位:秒
dataobject完整结果数据

任务失败时返回错误码和错误描述。

同类文章