向善而生的AI助盲,让AI多一点,障碍少一点******
有人说,盲人与世界之间,相差的只是一个黎明。在浪潮信息研发人员的心中,失去视力的盲人不会陷入永夜,科技的进步正在力图给每一个人以光明未来。
AI助盲在人工智能赛道上一直是最热门的话题之一。以前,让失明者重见光明依靠的是医学的进步或“奇迹”。而随着以“机器视觉+自然语言理解”为代表的多模态智能技术的爆发式突破,更多的失明者正在借助AI提供的感知、理解与交互能力,以另一种方式重新“看见世界”。
新契机:多模态算法或将造福数以亿计失明者
科学实验表明,在人类获取的外界信息中,来自视觉的占比高达70%~80%,因此基于AI构建机器视觉系统,帮助视障患者拥有对外界环境的视觉感知与视觉理解能力,无疑是最直接有效的解决方案。
一个优秀的AI助盲技术,需要通过智能传感、智能用户意图推理和智能信息呈现的系统化发展,才能构建信息无障碍的交互界面。仅仅依靠“一枝独秀”超越人类水平的单模态人工智能比如计算机视觉技术还远远不够,以“机器视觉+自然语言理解”为代表的多模态算法的突破才是正确的新方向和新契机。
多个模态的交互可以提升AI的感知、理解与交互能力,也为AI理解并帮助残障人士带来了更多可能。浪潮信息研发人员介绍说,多模态算法在AI助盲领域的应用一旦成熟,将能够造福数以亿计的失明者。据世卫组织统计,全球至少22亿人视力受损或失明,而我国是世界上盲人最多的国家,占世界盲人总数的18%-20%,每年新增的盲人数量甚至高达45万。
大挑战:如何看到盲人“眼中”的千人千面
AI助盲看似简单,但多模态算法依然面临重大挑战。
多模态智能算法,营造的是沉浸式人机交互体验。在该领域,盲人视觉问答任务成为学术界研究AI助盲的起点和核心研究方向之一,这项研究已经吸引了全球数以万计的视障患者参与,这些患者们上传自己拍摄的图像数据和相匹配的文本问题,形成了最真实的模型训练数据集。
但是在现有技术条件下,盲人视觉问答任务的精度提升面临巨大挑战:一方面是盲人上传的问题类型很复杂,比如说分辨冰箱里的肉类、咨询药品的服用说明、挑选独特颜色的衬衣、介绍书籍内容等等。
另一方面,由于盲人的特殊性,很难提取面前物体的有效特征。比如盲人在拍照时,经常会产生虚焦的情况,可能上传的照片是模糊的或者没有拍全,或者没拍到关键信息,这就给AI推理增加了难度。
为推动相关研究,来自卡内基梅隆大学等机构的学者们共同构建了一个盲人视觉数据库“VizWiz”,并发起全球多模态视觉问答挑战赛。挑战赛是给定一张盲人拍摄的图片和问题,然后要求给出相应的答案,解决盲人的求助。
另外,盲人的视觉问答还会遭遇到噪声干扰的衍生问题。比如说,盲人逛超市,由于商品外观触感相似,很容易犯错,他可能会拿起一瓶醋却询问酱油的成分表,拿起酸奶却询问牛奶的保质期等等。这种噪声干扰往往会导致现有AI模型失效,没法给出有效信息。
最后,针对不同盲人患者的个性化交互服务以及算法自有的反馈闭环机制,同样也是现阶段的研发难点。
多解法:浪潮信息AI助盲靶向消灭痛点
AI助盲哪怕形式百变,无一例外都是消灭痛点,逐光而行。浪潮信息多模态算法研发团队正在推动多个领域的AI助盲研究,只为帮助盲人“看”到愈发精彩的世界。
在VizWiz官网上公布的2万份求助中,盲人最多的提问就是想知道他们面前的是什么东西,很多情况下这些物品没法靠触觉或嗅觉来做出判断,例如 “这本书书名是什么?”为此研发团队在双流多模态锚点对齐模型的基础上,提出了自监督旋转多模态模型,通过自动修正图像角度及字符语义增强,结合光学字符检测识别技术解决“是什么”的问题。
盲人所拍摄图片模糊、有效信息少?研发团队提出了答案驱动视觉定位与大模型图文匹配结合的算法,并提出多阶段交叉训练策略,具备更充分的常识能力,低质量图像、残缺的信息,依然能够精准的解答用户的求助。
目前浪潮信息研发团队在盲人视觉问答任务VizWiz-VQA上算法精度已领先人类表现9.5个百分点,在AI助盲领域斩获世界冠军两项、亚军两项。
真实场景中的盲人在口述时往往会有口误、歧义、修辞等噪声。为此,研发团队首次提出视觉定位文本去噪推理任务FREC,FREC提供3万图片和超过25万的文本标注,囊括了口误、歧义、主观偏差等多种噪声,还提供噪声纠错、含噪证据等可解释标签。同时,该团队还构建了首个可解释去噪视觉定位模型FCTR,噪声文本描述条件下精度较传统模型提升11个百分点。上述研究成果已发表于ACM Multimedia 2022会议,该会议为国际多媒体领域最顶级会议、也是该领域唯一CCF推荐A类国际会议。
在智能交互研究方面上,浪潮信息研发团队构建了可解释智能体视觉交互问答任务AI-VQA,同时给出首个智能体交互行为理解算法模型ARE。该研究成果已发表于ACM Multimedia 2022会议。该研究项目的底层技术未来可广泛应用于AI医疗诊断、故事续写、剧情推理、危情告警、智能政务等多模态交互推理场景。
眼球虽然对温度并不敏感,但浪潮信息的研发团队,却在努力让盲人能“看”到科技的温度,也希望吸引更多人一起推动人工智能技术在AI助盲、AI反诈、AI诊疗、AI灾情预警等更多场景中的落地。有AI无碍,跨越山海。科技的伟大之处不仅仅在于改变世界,更重要的是如何造福人类,让更多的不可能变成可能。当科技成为人的延伸,当AI充满人性光辉,我们终将在瞬息万变的科技浪潮中感受到更加细腻温柔的善意,见证着更加光明宏大的远方。
【回眸2022年网信发展这一年】这些重磅盛会,我们一起走过!******
【回眸2022年网信发展这一年——重磅盛会篇】
2022年,是党和国家历史上极为重要的一年。年终岁尾,我们驻足回望,过去的一年里,中国绘就着一幅“携手构建网络空间命运共同体”的生动图景;过去的一年里,中国形成了全球最为庞大的数字社会;过去的一年里,水乡乌镇、榕城福州、喜都长春……在中国大地上,一个个城市坐标、一场场互联网重磅盛会,见证了网信发展的砥砺奋进,也续写着互联网发展的时代新故事。
■2022年中国网络文明大会
2022年8月28日至29日,以“弘扬时代新风 建设网络文明”为主题的2022年中国网络文明大会在天津举办。
本届大会由中央网信办、中央文明办、中共天津市委、天津市人民政府共同主办,由中国网络社会组织联合会、天津市委网信办共同承办。大会期间发布了《共建网络文明天津宣言》、2021年度中国网络诚信十件大事、《中国网络诚信发展报告2022》和网络文明主题歌曲。期间,围绕网络内容建设、网络生态建设、网络谣言治理、个人信息保护等主题举办了10场分论坛。
作为大会的重要组成部分,新时代中国网络文明建设成果展分为综合展区、地方展区和互联网企业展区三个展区,以线上线下相结合的方式,集中展示党的十八大以来我国网络文明建设取得的丰硕成果。
光明网记者 李政葳 摄
■2022年世界互联网大会乌镇峰会
2022年11月9至11日,以“共建网络世界 共创数字未来——携手构建网络空间命运共同体”为主题的2022年世界互联网大会乌镇峰会在浙江乌镇举办。11月9日,国家主席习近平向2022年世界互联网大会乌镇峰会致贺信。
本次峰会是世界互联网大会国际组织成立后的首届年会,由世界互联网大会主办,浙江省人民政府承办,采用“线下+线上”相结合的方式举办。峰会发布了《中国互联网发展报告2022》《世界互联网发展报告2022》蓝皮书;举办了“世界互联网领先科技成果发布活动”、“携手构建网络空间命运共同体”实践案例发布展示活动、“互联网之光”博览会、“直通乌镇”全球互联网大赛等重要活动;还围绕四大板块设置20场主题分论坛。
光明网记者 刘昊 摄
■第五届数字中国建设峰会
2022年7月23日至24日,以“创新驱动新变革 数字引领新格局”为主题的第五届数字中国建设峰会在福建福州举办。
峰会由国家互联网信息办公室、国家发展和改革委员会、科技部、工业和信息化部、国务院国有资产监督管理委员会、福建省人民政府共同主办,包括开幕式、主论坛、政策发布、分论坛、成果展览会、数字产品博览会、创新大赛、云生态大会等八个环节,以及“闽江夜话”“有福之州·对话未来”等交流活动;峰会继续设立“云上峰会”平台,并全新打造云上国际数字产品博览会平台;主论坛发布了《数字中国发展报告(2021年)》。作为峰会的重要组成部分,第五届数字中国建设成果展览会设置专题展展示党的十九大以来数字中国的辉煌发展成就。
新华社记者 林善传 摄
■第六届世界智能大会
2022年6月24日至25日,以“智能新时代:数字赋能、智赢未来”为主题的第六届世界智能大会在天津举行。
本届大会通过云上办会方式举行,形成“会展赛+智能体验”“四位一体”模式。在继承发扬前五届大会经验成果基础上,“云”上聚首,共话未来,激荡思想火花;“云”端发布,引领趋势,展现前瞻成果。此外,还有“云”中展示、“云”播场景、“云”腾赛事,并采用“云洽谈”“云对接”“云协调”等途径吸引全球优质资源落户天津。
大会通过XR、AI、3D、动作捕捉、元宇宙等前沿新技术,打破时空限制,让观众身临其境。闭幕式上还发布了《中国新一代人工智能科技产业发展报告》《中国新一代人工智能科技产业区域竞争力评价指数报告》。
新华社记者 赵子硕 摄
■2022中国国际大数据产业博览会
2022年5月26日,2022中国国际大数据产业博览会在贵州贵阳举行。本届数博会由国家发展和改革委员会、工业与信息化部、国家互联网信息办公室和贵州省人民政府主办,紧扣“抢数字新机 享数字价值”的年度主题,采取线上方式举行,设置了开幕式、“数谷论坛”、“数博发布”等线上活动。
其中,“数谷论坛”活动围绕“东数西算”“数据安全”“元宇宙”等前沿话题举办8场论坛;“数博发布”活动依托“数博会云网平台”等,采用智慧会务、NFT区块链等技术,打造元宇宙“数博发布”场景,发布一批全球大数据领先科技成果奖项以及企业成果,来自中国和德国、日本等国家100余家知名企业参加展示。
■2022全球数字经济大会
2022年7月28日至30日,由北京市人民政府、国家发展和改革委员会、工业和信息化部、商务部、国家互联网信息办公室、中国科学技术协会主办的2022全球数字经济大会在北京举行。
本届大会以“启航数字文明——新要素、新规则、新格局”为主题,设置了开幕式及主论坛、6个主题峰会、近50场专题论坛,并首设元宇宙会场,通过数字孪生手段复刻线下会场;还举行了数字经济体验周、数字经济精品展、全球数字经济创新大赛以及成果发布会等4大特色活动,发布了《全球数字经济白皮书》《北京数字经济发展报告(2021~2022)》《2022年中国云计算生态蓝皮书》等研究成果。此外,大会还宣布成立国际数字经济治理研究院,共同探讨全球数字经济基础共性规则标准制定。
新华社记者 陈钟昊 摄
■第二届中国新电商大会
2022年7月29日,以“推动新电商 促进新消费 助力新发展”为主题的第二届中国新电商大会在吉林长春举行。本届大会由国家互联网信息办公室、商务部、吉林省人民政府指导,中国网络社会组织联合会、吉林省互联网信息办公室、吉林省商务厅、长春市人民政府主办。
会上发布了《中国新电商发展报告2022》《网络直播主体信用评价指标体系》团体标准;15家数字经济企业与吉林省有关地方政府签订项目合作协议;5场主题分论坛围绕新电商环境建设、技术创新、消费服务、融合发展、国际合作等议题展开交流和探讨。作为本届大会的重要配套活动,第二届中国新电商大会项目对接会、“高质量发展吉林行”网络主题活动也同步举办。
■2022年国家网络安全宣传周
由中央宣传部、中央网信办、教育部、工业和信息化部、公安部、中国人民银行、国家广播电视总局、全国总工会、共青团中央、全国妇联十部门联合举办的2022年国家网络安全宣传周,于9月5日至11日在全国范围内统一举办。
本届宣传周开幕式、网络安全高峰论坛等重要活动在安徽合肥举行,以“网络安全为人民,网络安全靠人民”为主题,举办了开幕式、网络安全博览会、网络安全技术高峰论坛,以及8场分论坛、网络安全赛事、六大主题日以及网络安全“七进”等系列活动。其中,长三角网络安全协同发展分论坛发布国内首个《网络安全人才实战能力白皮书》,20多家高校和高新技术企业与合肥市签约落地,总投资达22.1亿元。
光明网记者 李政葳 摄
■2022(第二十一届)中国互联网大会
2022年11月15至17日,由工业和信息化部、深圳市人民政府主办,中国互联网协会、广东省通信管理局、深圳市工业和信息化局等单位承办的2022(第二十一届)中国互联网大会在深圳举行。
本届大会以“发展数字经济 促进数字文明”为主题,围绕“论坛会议+特色活动”主线,举办开幕式、开幕论坛、分论坛、案例发布、嘉宾交流会、互动嘉年华、线上挑战答题赛、法官讲案例等活动,内容涵盖算力基础设施、人工智能、工业互联网、车联网、智慧医疗、智慧教育、元宇宙、数字政府、中小企业发展、未成年人保护、合规治理、个人信息保护、数据安全等热点领域。大会同期还举办了互联网技术与应用的主题博览会。
图源:中国互联网大会微信公众号
监制:张宁、李政葳
统筹:孔繁鑫
撰文:雷渺鑫、王一涵
视频:刘昊、雷渺鑫
出品:光明网要闻采访部
(文图:赵筱尘 巫邓炎)