编者按：本文来自微信大众号“量子位”（ID：QbitAI），作者 鱼羊，36氪经授权发布。
镜头切换天然，节奏有急有缓，创造这样高质量的视频，需求怎样的专业编排技巧？
答案是，不必剪，会写就行。
比方要编排一个有关长颈鹿的片段，你只需求告知AI：
The giraffe is the world’s tallest animal, and well known for its long legs and neck.
长颈鹿是世界上最高的动物，以其长腿和长脖子闻名于世。
It has a brown mane on the neck, and its head has two hairy horns.
它的脖子上有棕色的鬃毛，头上长了两只毛烘烘的角。
AI就能主动编排完结这样的画面：
先展现一下长颈鹿群的全貌。接着镜头切给一只奔驰中的长颈鹿，展现一下它的长腿长脖子。依照指示，再给鬃毛和犄角来个特写，齐活！
是的，不再需求费力选择资料，一帧一帧地来回倒腾：
△编排真是体力活
只需求把你脑海中的构思转化成简略的文字，这个名叫Write-A-Video的AI就能读懂你的心，从选材到编排，一站式完结创造。
这便是北航、清华、哈佛和以色列赫兹利亚跨学科研讨中心的科学家联手打造的最新AI神器，只需主题脚本，就能生成视频。
用文字创造视频
现在，准备好资料，咱们一块儿来看看，Write-A-Video到底是怎样“写”出一个视频来的。
整一个完好的进程分为三步。
榜首步，用户以文本的方式供给输入。Write-A-Video会选择出语句中的要害词。
第二步，Write-A-Video会使用要害词，把资料库里与之相匹配的候选片段挑出来。
文本和镜头之间的视觉语义匹配最重要的包括两个过程：要害字匹配和视觉语义嵌入。
首要，AI会依据脚本从资料库中检索一切带有要害字标签的视频镜头。
资料库中的一切视频均被切割为快照，便于语义匹配，还能鄙人一步正式编排视频时，让用户用电影术语来辅导AI创造。
Write-A-Video的作者，北京航空航天大学的汪淼教师介绍说，Write-A-Video答应用户在输入文本中使用电影术语，以探究每个场景不同的视觉风格，比方调整电影的节奏，画面的调集等。
此外，选用根据直方图的切割算法，假如帧与帧之间在HSV色域中的直方图相差超越80%，而且追寻的SURF要害点80%以上不匹配，那么算法就会以这两帧为界，切分镜头。
太长（>30s）或太短（<2s）的镜头也会被放弃，由于短镜头观感欠好，而长镜头会下降功率和可变性
然后，视觉语义嵌入技能会为每个检索到的镜头核算匹配分数，排名最高的镜头就会被选为候选镜头。
这儿选用的办法是VSE++（论文地址见文末）。该办法能将跨模型内容编码到联合特征空间中，比方把文本和镜头联系起来。
在嵌入空间中，从镜头中每十帧抽取一帧，核算其与文本之间的余弦类似度，终究取平均值，即为判别镜头能否当选的终究得分。
第三步，便是将这些镜头组合在一起，完结视频的编排。
这一步，其实是Write-A-Video对镜头的混合优化。而它也有自己的审美规范。
首要，画面应该是亮堂而生动的。
其次，镜头不能晃动得太凶猛。
终究，要防止不连贯的跳接（jump cut）和相反的相机运动。
值得一提的是，Write-A-Video对用户非常友爱。
△加上新的文本，对应资料就主动续上了
查找对应镜头，剪切，重新排列，都能够用增加、删去文本及移动语句等文本编辑的方式进行。不必把握编排技巧，更不必会敲代码。
不仅如此，鄙人面这个视频中，你会发现，敲进去的文字能够转成配音旁白，烘托影片气氛。
而且，旁白和视频彻底同步，对应得非常天然。说到白金汉宫时，镜头就天然地转到了白金汉宫门前。而说到皇家护卫队时，画面便给到了扮演中的皇家护卫队。
研讨团队表明，跟商用的逐帧处理视频编辑器比起来，用上Write-A-Video，创造起来快多了。
有了Write-A-Video，乃至新手，都能以快得多的速度（13分钟：7小时），完结质量与工作编排师距离不大的视频编排使命。
△编排师用Pr，新手用Write-A-Video
在刚刚完毕的SIGGRAPH Asia 2019会议上，研讨团队陈述并展现了Write-A-Video这一效果，得到了世界同行的广泛认可。
北航清华团队出品
Write-A-Video的榜首作者汪淼博士，现为北京航空航天大学虚拟现实技能与体系国家重点实验室助理研讨员，硕士生导师。
△汪淼
他本科毕业于西安电子科技大学，后于2016年取得清华大学博士学位，师从论文通讯作者，清华大学核算机系胡事民教授。
论文作者中的杨国炜参与该项目时，仅仅一位本科生，现已在清华大学核算机系攻读博士学位。
别的两位作者，分别是菲尔兹奖得主、哈佛大学教授、美籍华人数学家丘成桐，以及以色列赫兹利亚跨学科研讨中心院长艾里尔·沙米尔（Ariel Shamir）。
传送门
视频链接：
https://vimeo.com/357657704
论文地址：
http://www.faculty.idc.ac.il/arik/site/writeVideo.asphttps://dl.acm.org/citation.cfm?id=3355089
注：TOG2019年的第177号论文
VSE++论文地址：
https://arxiv.org/abs/1707.05612
