AI(人工智能)技术正在迅速发展,并逐渐应用于金融,商业,医疗和其他领域。但是,相关技术的快速普及也带来了许多治理和安全挑战,尤其是在AI面对面掉期,数据隐私,模型安全等方面。在2025年的两次会议期间,许多代表和成员就AI治理和AI安全等问题进行了激烈的讨论。
Lei Jun是国家人民代表大会的成员,小米集团的创始人,建议应加速AI面对面的声音模拟技术的立法过程,技术应用的界限,应提高侵权证据的规则,并提高犯罪技术来提高AI技术来提高危机。中国人民政治咨询会议委员会成员,360 Group的创始人周洪尼提出了“成型模具”的概念,并使用安全模型来解决大规模应用中的安全问题。他建议对大型模型的“幻觉”问题进行灵活的监督。中国人民政治咨询会议的国家委员会成员,Qi'anxin Group的主席齐明贡指出,人工智能的发展正面临三个安全问题,包括人工智能模型本身的安全问题,人工智能的问题是使用人为的网络攻击以及“网络攻击爆炸爆炸炸弹袭击造成的攻击”。他认为,应该在技术,系统和结果应用的三个方面改进该系统。
此外,诸如“ Jin Dong建议在两次会议期间”和“ Lei Jun在国庆节被AI责骂”等主题也变成了今年的两次微博上的热门搜索,从而导致该行业进一步讨论AI面对面的语音风险发生变化。关于AI伪造技术的开发,Ruilai Technology的联合创始人Xiao Zihao告诉《第一个金融日报》,在过去的一年中,非法和犯罪活动,例如使用AI来改变声音和面孔来实施欺诈和谣言,并反复禁止和加强谣言,并加强了巨大的上升趋势。犯罪行为变得更加混乱,更隐藏。
在小赵的观点中,它背后的动机一方面是兴趣驱动的。例如,人工智能欺诈极其令人困惑,并颠覆了普通人“将其视为真实”的常识。一旦受害者“诱饵”,罪犯就不会放开“大鱼”。从Ruilai的统计数据来看,AI欺诈涉及的金额远大于普通欺诈案件。 AI传播谣言以在短时间内引起关注并赚取流量,冒险并等待机会兑现。管理AI谣言的主要困难是传播谣言的成本非常低,但是驳斥谣言的成本很高,及时性却落后。另一方面,近年来,生成AI技术的能力已快速发展,并且不断开放。已经发布了大量工具和产品,大大降低了使用AI的犯罪分子的门槛和成本。
目前,为了应对“ AI面部掉期”的洪水,一些专家建议通过水印标记进行防御。但是,一些行业内部人士指出,水印标记是一种积极的防御,其阈值很高,有必要事先处理图片,视频和其他内容。例如,在照片中嵌入了一些视觉上未知的噪声。当其他人使用照片训练模型时,这种无形的干扰将影响视觉表示的提取,这是一种对抗性样本攻击。还有一个半碎片水印,这是另一种主动防御方法。也就是说,在添加水印后,如果有人编辑了照片,则水印将被销毁,后来的检测可以说明照片已被处理。但是,水印不能直接阻止照片和视频被面孔代替,并且只能检测和验证图像的真实性。
关于AI面部互换造成的安全风险,Xiao Zihao说,来自AI技术的安全风险的治理是一个非常复杂的社会问题,涉及许多方面。在法律和法规之后,我们不仅必须提前标准化和指导和监督和惩罚,而且还需要技术手段来使AI更安全,更可控制。在技术层面上,世代和虚假认识之间的对抗非常强烈,需要连续和长期的投资,就像“猫和老鼠游戏”一样,一个人上升了,另一个人彼此之间,彼此之间的游戏。与Internet产品或其他AI产品不同,AI假评估产品不会在开发后结束,但必须随着发电技术的进行,不断进行研究,更新和迭代,而无需结束。