字节跳动开源SeedEdit用嘴PS成为现实

一句话就能PS,图片编辑迎来革命性突破!

这款名为SeedEdit的工具,只需要用简单的文字描述,就能精准修改图片中的任何元素,从文字到背景,从风格到光线,统统都不在话下。

这个工具是如何做到的?

SeedEdit采用了一种革命性的方法,将图像编辑看作是一个「平衡游戏」:

一边要保持原始图像的内容,一边又要创造新的元素 。

通过一个「渐进对齐框架」,SeedEdit巧妙地把文本到图像的模型转变成了精确的图像编辑器。这就像是给AI装上了一双「巧手」,既能保护原图的精髓,又能精准添加新的内容。

但真正厉害的是它解决了数据短缺的问题。

SeedEdit团队使用了一个聪明的办法:把文本到图像的模型当作「弱编辑器」,通过多轮数据生成和模型微调,不断提升编辑效果,直到达到最佳状态。

性能表现更是亮眼!

在HQ-Edit基准测试中,SeedEdit交出了一份漂亮的成绩单:

GPT评分达到 78.54分

CLIP方向性得分 0.1766

CLIP图像相似度得分 0.8524

这意味着什么?

意味着SeedEdit不仅能准确理解用户的编辑需求,还能最大程度保留原图的细节!

技术创新是关键。

SeedEdit引入了因果自注意力结构,让两个网络分支能通过中间特征进行「对话」。同时,它还巧妙地重复使用自注意力来处理图像,而不是增加额外的输入通道,这让几何编辑任务变得更加准确。

字节跳动开源SeedEdit用嘴PS成为现实-2

最令人兴奋的是,这个强大的工具现在已经在Hugging Face上开源,任何人都可以免费使用!见:

https://huggingface.co/spaces/ByteDance/SeedEdit-APP

版权声明:
作者:shadowrocket
链接:https://www.shadowrocket8.top/62.html
来源:Shadowrocket官网
文章版权归作者所有,未经允许请勿转载。

THE END
分享
二维码
< <上一篇
下一篇>>