文章一作郑凯文为清华大学三年级博士生,研究方向为深度生成模型,曾提出流式扩散模型最大似然估计改进技术 i-DODE,扩散模型高效采样器 DPM-Solver-v3,扩散桥模型采样器 DBIM 以及掩码式离散扩散模型采样器 FHS 等。 清华大学朱军教授团队与 NVIDIA Deep Imagination 研究组联合提出一种全新的视觉生成模型优化范式 —— 直接判别优化(DDO)。该方法将基于似然的生成模型(如扩散模型、自回归模型)隐式参数化为 GAN,从而设计出一种无需额外网络、训练高效的微调方法,并大幅突破传统最大似然训练的性能瓶颈。 近年来,扩散模型(Diffusion Models)和自回归模型(Autoregressive Models)在图像生成中占据主导地位,如 NVIDIA 的 EDM 系列扩散模型和字节跳动以 VAR 为代表的视觉自回归模型。相比 GAN(Generative Adversarial Networks)这类直接优化数据生成过程的隐式生成模型,扩散模型和自回归模型均属于基于似然的生成模型(Likelihood-Based Generative Model),它们显式估计数据的对数似然(log-likelihood),具有训练稳定、样本多样性强、容易规模化的特点 然而,这类模型广泛采用的最大似然估计(Maximum Likelihood Estimation, MLE)训练损失对应的是正向 KL 散度,会导致「mode covering」问题:模型倾向于覆盖所有数据模式而非聚焦主要分布,并且会在低估数据集中任何样本的似然时遭受严厉惩罚,从而使生成结果模糊或失真,在模型容量不足时限制了生成质量。例如,i-DODE 作为专注于似然的模型,虽然在密度估计任务上达到了最先进水平,但在 FID 等视觉质量指标下表现不佳。现有视觉生成模型也往往依赖引导(guidance)方法,如无需分类器的引导(Classifier-Free Guidance, CFG),来抑制低质量生成样本。 为解决 MLE 的局限性,文章考虑使用GAN 式判别的思想,在训练目标中引入反向 KL 散度的成分,强化模型在真实数据附近的密度,同时抑制错误区域,将模型分布由图(a):强调密度覆盖,微调为图(b):强调密度集中,从而提高生成保真度与有限模型容量下的生成质量。然而,直接使用 GAN 损失会引入额外的判别器网络与工程优化上的复杂性,尤其对于扩散/自回归模型这类需要迭代式多步生成的模型。 具体来说,DDO 引入待微调的目标模型和一个冻结的参考模型(均初始化为预训练模型),使用两个模型的对数似然比构造「隐式判别器」,得到可直接应用于扩散模型和自回归模型的 GAN 式优化目标: DDO 为扩散模型和自回归模型提供了即插即用的新训练目标,其微调后的模型和原模型具有完全相同的网络结构和采样方式,而在生成质量上大大增强 更重要的是,DDO无需修改网络结构、不增加推理成本,且与主流 CFG 等引导方法兼容,可叠加使用进一步提升性能。如在视觉自回归模型 VAR 上,微调后的模型通过控制 CFG 的强度,得到的FID-IS 曲线整体显著优于原模型 DDO 参数化的灵感来自于语言模型中的直接偏好优化(DPO, Direct Preference Optimization),但其目标从「成对的偏好对齐」扩展到了「分布对齐」,更为通用。DDO 虽然没有「奖励」的概念,但其中使用自生成样本作为负例的思想也与大语言模型中流行的 RL 算法如 GRPO 具有相似性,这允许模型从错误中反思学习。也就是说,GRPO 中负例的作用同样可以解释为使用 reverse KL 散度抑制 mode covering 趋势从而提升生成质量,这在数学推理等任务中具有重要意义。该思路有望扩展至多模态生成等任务,构建统一的对齐范式
免费b站看大片真人电视剧在线看我要2022年下半年以来,无论PVC还是苯乙烯的价格在经历了前一轮的上涨行情后,随着下游需求减缓和上游产能持续释放的影响,开始深陷“高供应、低需求”的泥潭,价格开始出现持续的回调甚至是大跌。至于说后排空间小的原因嘛,因为这实际是CMA3.0平台的车型,而CMA平台为了操控和安全性,空间利用率一直都不算高。当然,这也是这台车的优势,平台要比比亚迪汉新很多。免费b站看大片真人电视剧在线看我要wow亚洲服有永久60级么直播吧06月17日讯 世俱杯小组赛D组第1轮,切尔西vs洛杉矶FC。本场比赛在亚特兰大的梅赛德斯奔驰体育场进行,开球时间为美国时间15点。今年3月,国家网信办等四部门联合发布《人工智能生成合成内容标识办法》(以下简称标识办法),通过标识提醒用户辨别虚假信息,规范内容制作、传播各环节标识行为,为规范AI生成内容划定红线。该办法将于9月1日起施行。
20250819 🔞 免费b站看大片真人电视剧在线看我要小米对智能眼镜的探索已有多年,其产业链布局已经铺开。此前市场传出小米与歌尔合作计划推出新一代AI眼镜,但雷军始终未官宣AI眼镜相关信息,此次发布会上或将有所披露。9.1破解版打破国外企业的技术垄断,自然让人欣喜,但后续卖“白菜价”的操作是否值得持续提倡,就需打一个大大的问号。产品卖不上价,要想维持企业运作所需的现金流,就只能尽力压低成本,而压低成本的方法不外乎降低收入待遇。
📸 周荷花记者 侯占科 摄
20250819 🍑 免费b站看大片真人电视剧在线看我要Eduardo Burgos在社交媒体上这样写道:“皇马将于今日晚些时候宣布签下马斯坦托诺,对这位阿根廷球员而言,这是重要的一天。目前,马斯坦托诺正在美国随河床备战世俱杯。”女性私处蹲下拍照有疙瘩位于浙江宁波市的狮丹努集团股份有限公司是一家专注于针织服装设计研发与生产销售的企业,前4月企业进出口总额2.5亿美元,同比增长15.8%,产品出口50多个国家和地区。
📸 王赉记者 薛怀成 摄
💃 约旦《宪章报》分析认为,伊以外交窗口尚未完全关闭,强调未来两周将是中东是否会“滑向全面战争”的关键期,若大国协调与地区调解能形成合力,仍存在“悬崖勒马”的可能。17c