4A广告网 - 广告营销行业影响力媒体_广告创意_营销策划_公关传播

腾讯混元文生图大模型全面开源

张小虎
2024-05-15 17:40

5月14日,腾讯云官方宣布腾讯混元文生图大模型,全面升级并对外开源!

作为业内首个中文原生的DiT架构开源模型,腾讯混元文生图支持中英文双语输入及理解。

除直接用于文生图,也可作为视频等多模态视觉生成的基础。

图片

图源:腾讯云

//DiT架构

优秀的大模型,离不开领先的技术架构。

去年7月,腾讯混元文生图团队就明确了基于DiT架构的模型方向。

(DiT是基于Transformer的扩散模型架构,是Sora、Stable Diffusion 3 也选用的关键技术。)

今年初,腾讯混元文生图完成了模型架构的全面升级,相比上一代整体效果提升超过20%。

//中文原生


此前,Stable Diffusion等主流文生图开源模型,核心数据集以英文为主,基于Stable Diffusion的中文应用本质上是通过中译英的方式处理文本。

碰上古诗词、民间俚语、传统建筑等中国元素,又或者「红烧狮子头」「老婆饼」「鱼香肉丝」等特色词汇,容易出现较大的理解偏差。

中文原生的腾讯混元文生图,母语就是中文:

图片

通过对汉语字符系统、文化内涵的深度学习,对国风元素和中文复杂性有更深刻的理解。

文生图提示词:请将“杞人忧天”的样子画出来

图片

中文输入后,直接中文理解,不会因翻译产生语义分歧。

//表现提升

- 多轮对话:通过自然语言对话不断微调,修改主体、背景、元素及风格,整体画面保持高一致性。

多轮文生图提示词:(1)画一名德国男性;(2)让他再德国一些;(3)让他更德国一些。

图片

多轮文生图提示词:(1)画一朵长在森林中的白色玫瑰;(2)背景换成室内,花插在瓶中;(3)将花改为百合花;(4)花瓣改为粉色;(5)让蝴蝶落在花瓣上;(6)改成动漫风格。

图片

- 人像提升:质感升级,减少畸变,支持不同职业、年龄、身材、视角、景别人像。

图片

- 长文本理解:能分析和理解长篇文本中的信息并生成相应艺术作品。

文生图提示词:一张细致的照片捕捉到了一尊雕像的形象,这尊雕像酷似一位古代法老,头上出人意料地戴着一副青铜蒸汽朋克护目镜。这座雕像穿着复古时髦,一件清爽的白色T恤和一件合身的黑色皮夹克,与传统的头饰形成鲜明对比。背景是简单的纯色,突出了雕像的非传统服装和蒸汽朋克眼镜的复杂细节。

图片

//全面开源

目前,腾讯混元文生图大模型已在 Hugging Face 平台及 Github 上发布,包含模型权重、推理代码、模型算法等完整模型。

不管是企业还是个人开发者,全部免费可用。

腾讯腾讯混元文生图大模型腾讯文生图腾讯中文AI模型
1、该内容为作者独立观点,不代表4A广告网观点或立场,文章为作者本人上传,版权归原作者所有,未经允许不得转载。
2、如对本稿件有异议或投诉,请联系:info@4Anet.com
"近日,腾讯广告妙思正式上线能力。腾讯广告妙思正式上线能力腾讯广告妙思功能拥有五大产品能力:1.支持本地上传参考,轻松拓展创意空间,妙思还能为您推荐灵感,助力制作相似素材。在应用效果方面,腾讯广告妙思同样表现出色。
这下专业对口了。
韩束因劣迹艺人吴亦凡丑闻与吴亦凡解约,赢得网友支持,提高了产品销量。
2020年世博会在迪拜举办,不过中国参展“路演”仪式已在北京启动。在中国馆合作品牌中,卫浴界领头羊箭牌卫浴也在其中,被授予“2020年迪拜世博会中国馆指定陶瓷洁具供应商”。为何这个品牌可以成为世博会之选?
3月20日,腾讯控股发布2023年第四季度及全年财报,其中第四季度广告收入受益于AI技术,再创季度新高,达297.94亿元。
8月14日,腾讯公布2024年第二季度财报。腾讯披露,当季三主营业务收入齐增,具体来看,增值业务收入788亿元,同比增长6%;网络广告收入299亿元,同比增长19%;金融科技及企业服务业务收入504亿元,同比增长4%。
腾讯控股将于近期公布三季度,对此国海证券在上周末发布了该公司三季度业绩的前瞻报告。
9 月 6 日消息,腾讯文档 2023 年度新品发布会将于明日(9 月 7 日)11:30 举行,届时将分享腾讯文档发展方向并发布全新产品。此外,腾讯全球数字生态大会也将于明日同步开启。 今日,腾讯云官方预热了自家的 AI 聊天机器人,BAT 中最后一家终于要入场 AI 模型了。 从腾讯官方预热中可以看到,腾讯 AI 聊天机器人采用了类似“S”造型的标志,不过进行了打码模糊。
日前,由一汽红旗联合腾讯模型共同推出的红旗品牌虚拟代言人小程序“旗羿旗妙说”正式上线,为用户提供智能交互问答服务。