国内我的网站主页 > 我的网站国内 >
摘要:请回答1997...

百思不得姐

AI 不需要永远正确,我们只需要守住最后一道底线_我的网站

私人订制

一 |     该图片使用了AI生成技术          本文来自微信公众号: HavenlonLabs ,作者:Havenlon Labs          现在谈AI安全,很多人的第一反应都是:怎样让模型少犯错?          减少幻觉、优化提示词、防止提示词注入、增加上下文、接入更强的模型,再用另一个Agent检查前一个Agent。

二 |          这些工作当然有价值。    K图 BK0473_0  A股三大指数今日集体上涨,截止收盘,沪指涨0.59%,深证成指涨0.69%,创业板指涨0.51%。

三 | 沪深京三市成交额仅1.82万亿,较昨日小幅缩量。

四 |          但它们容易让人产生一种错觉:只要模型足够聪明、提示词足够完善、检测系统足够复杂,AI就可以安全地完成一切。行业板块涨多跌少,证券、工业金属、保险、核力发电、酒店餐饮、多元金融、能源金属、农化制品、钢铁板块涨幅居前,医疗服务、地面兵装板块跌幅居前。个股方面,上涨股票数量超过2900只,逾50只股票涨停。         问题是,AI真的可能永远正确吗?          答案恐怕是否定的。
  随着A股上市券商2026年中报密集披露,2026年中期分红预案也陆续呈现在投资者面前。         我们无法消灭所有错误          AI Agent面对的不是一道标准答案明确的考试题,而是不断变化的现实环境。         它读取的邮件可能是伪造的,访问的网页可能包含恶意指令,接收到的数据可能已经被污染,用户给出的任务也可能存在歧义。据中国证券报报道,Wind数据显示,截至8月25日,已有15家上市券商披露2026年半年报,其中10家上市券商公布中期分红预案,拟派现金额合计近170亿元(含税)。

五 |          即使模型本身没有受到攻击,它也可能误解目标、遗漏条件,或者基于不完整的信息作出一个看起来合理的决定。这背后既有来自监管层的积极引导,更离不开上半年A股行情向好带来的业绩高增。         我们可以持续提高模型的准确率,却很难证明它在下一次任务中一定不会犯错。

六 |   尽管业绩和分红亮眼,但当前券商板块的估值仍处于历史相对低位。         试图让AI永远正确,是在追求一个无法验证的目标;阻止危险结果发生,才是一条可以真正落地的边界。         真正的问题不是AI会不会犯错。从板块表现来看,证券板块2026年以来整体承压,截至8月26日早盘收盘,证券板块年内下跌8.99%。         它一定会。

七 |          真正的问题是:当它犯错以后,系统是否会毫无阻碍地把这个错误执行出去。

八 | 有业内人士认为,券商板块配置价值有望进一步提升,头部券商的超额收益机会值得重视。         模型错误不一定等于现实损失          一个AI在聊天窗口里回答错误,造成的可能只是一次糟糕的体验。此外,考虑到证券行业发展政策较为积极,一批优质特色券商也有望脱颖而出。         但当同一个AI拿到支付接口、管理员权限、数据库写入权限和服务器控制权以后,错误的性质就完全不同了。  另外公司消息上,8月24日,东方证券召开临时股东会,合并重组相关议案获99%以上高票通过,标志着该项交易的公司治理程序取得关键进展。而东方证券等券商并购重组取得关键进展,监管对一流投行建设的政策导向明确,行业资源向头部集中,并购主题持续为板块提供催化。  银河证券认为,当前环境下中长期资金加速入市,市场活跃度维持高位,2026年资本市场延续“健康牛”态势确定性较高,财富管理转型、国际化业务拓展、金融科技赋能均有望成为券商行业提升ROE(净资产收益率)的驱动力。         它可能把钱转给错误的地址,删除重要数据,修改生产环境,扩大成员权限,或者关闭本应保留的审计记录。

九 | 万联证券在近期的研报中指出,证券行业基本面保持高景气,但估值与业绩深度偏离,具备显著修复空间。         模型只是产生了一个错误判断。         真正把错误变成事故的,是后面的执行能力。

十 |   银河证券:当前证券板块防御与反弹攻守兼备  当前环境下中长期资金加速入市,市场活跃度维持高位,2026年资本市场延续“健康牛”态势确定性较高,财富管理转型、国际化业务拓展、金融科技赋能均有望成为券商行业提升ROE(净资产收益率)的驱动力。当前证券板块估值处于历史低位,防御与反弹攻守兼备。  万联证券:证券行业估值具备显著修复空间  证券行业基本面保持高景气,但估值与业绩深度偏离,具备显著修复空间。国际业务拓展与投行跟投机制将抬升ROE中枢,推动券商从重资本模式向价值发现者转型。  申万宏源:2026年券商行业呈现两大核心趋势  2026年券商行业呈现两大核心趋势。         模型犯错只是答案错了,执行失控才是真的出事。

十一 |          这也是为什么,AI安全不能只盯着模型内部。一是行业集中度持续提升,上市券商净资产、归母净利润CR5分别升至41.1%和48.9%,马太效应显著。二是板块正处于估值修复与转型共振窗口,产业资本密集增持回购,财富管理向买方投顾加速转型,AI赋能成为新引擎。

十二 |   东吴证券:并购整合与资本实力强的头部券商有望持续受益  2019年以来监管对证券行业整合、一流投行建设的政策导向愈发清晰,行业资源持续向头部集中,2025年证券行业净利润CR5、CR10已分别达41%、64%,并购整合与资本实力强的头部券商有望持续受益。         我们当然要防提示词注入,要提高推理能力,也要检测恶意输入。但即使前面的所有防线都失效了,系统仍然应该保留一道最后的底线。  方正证券:看好证券板块在业绩与估值双击下的修复机会  在市场成交活跃度提升背景下,券商经纪、净利息收入快速增长,财富管理业务基本盘稳固,看好证券板块在业绩与估值双击下的修复机会。         这道底线不负责判断AI为什么犯错。  开源证券:头部券商的超额收益机会值得重视  当前头部券商业务结构不断优化,市占率持续提升,ROE中枢稳步抬升,但市场尚未对相关变化完成估值定价,同时目前券商行业估值、机构配置水平仍位于历史底部,因此头部券商的超额收益机会值得重视。  (本文不构成任何投资建议,投资者据此操作,一切后果自负。         它只负责确认:这件事到底能不能发生。市场有风险,投资需谨慎。         守住钱袋子,比猜出所有骗子更现实          假设一个AI Agent正在替企业处理付款。

十三 | )(文章来源:东方财富研究中心)。         我们可以训练它识别诈骗邮件,可以要求它核对合同,可以增加一个模型复核收款信息。         但我们无法保证它永远认得骗子。         骗子会改变话术,邮件账号可能被入侵,真实员工也可能被冒充。即使多个模型同时参与判断,它们仍可能基于同一份错误信息得出相同结论。         更现实的做法,是直接守住付款的底线:          单笔金额不能超过限制;新收款地址不能立即付款;审批后收款目标不能被替换;超出风险阈值必须经过独立确认;任何远程管理员都不能临时关闭这些规则。

十四 |          这样,即使AI被欺骗,损失仍然会被限制。         你不需要保证AI永远认得骗子,只需要保证骗子无法轻易带走你的钱。         这就是大道至简。

十五 |          前面可以有复杂的模型、提示词、工作流和检测系统。

十六 |          最后只需要一条明确的边界:          不符合条件,就不执行。

十七 |          最后的系统不必比AI更聪明          很多人认为,保护AI的安全系统也应该是一套更强大的AI。         但位于最后一道边界的系统,未必需要理解自然语言,也不需要参与复杂推理。         它只需要知道几个确定事实:          这次操作要转多少钱,目标是谁,权限是否发生变化,数据是否可以恢复,风险条件有没有超限。         这些事实不满足,就拒绝。

十八 |          安全不一定要比风险更聪明,它只需要守住风险最终必须经过的那道门。         越靠近最终执行,系统反而越应该简单、独立和保守。         因为复杂意味着更多配置、更多依赖、更多攻击面,也意味着系统可能被前面的同一套错误逻辑同时影响。         真正的最后防线,不应该和Agent使用同一个提示词、同一个上下文、同一套权限,也不应该因为SaaS中有人点击了“强制执行”就自动失效。         它存在的意义,就是在所有人都认为可以继续时,依然保留拒绝的能力。

十九 |          底线应该由人提前决定          当然,底线并不是系统自己创造的。         企业需要提前决定,什么事情绝对不能由AI单独完成。         可能是一笔超过限额的付款,可能是删除核心数据库,可能是修改管理员权限,也可能是让现实设备进入不可逆状态。

|          这些边界一旦确定,就不应该交给Agent在执行过程中临时解释。         真正的安全,不是让AI在最后一秒重新思考,而是让人类在风险发生之前提前划清边界。

|          AI可以负责分析、规划、推荐,甚至完成绝大部分自动化工作。

|          但越是不可逆、越是高价值、越可能造成现实损失的操作,越需要一道独立于AI判断的最终约束。         AI安全的终点,不是把模型训练成永不犯错的圣人,而是让系统在模型犯错时依然守得住自己的底线。         未来的AI一定会越来越聪明,也会获得越来越多的工具和权限。         我们没有必要因为它可能犯错,就拒绝所有自动化。         但我们也不能因为它越来越强,就默认把最后的决定权一起交出去。

|          最后想和大家讨论一个问题:          对你来说,AI最不能越过的底线是什么——钱、管理员权限、核心数据,还是现实设备的控制权?          本内容由作者授权发布,观点仅代表作者本人,不代表虎嗅立场。如对本稿件有异议或投诉,请联系 [email protected]

|

Current article:http://qnku5v.cesangrangshunzashuangruijiu.pics/2vkb/20260826/8120255.html

Published on:00:03:26