向善而生的AI助盲,让AI多一点,障碍少一点******
有人说,盲人与世界之间,相差的只是一个黎明。在浪潮信息研发人员的心中,失去视力的盲人不会陷入永夜,科技的进步正在力图给每一个人以光明未来。
AI助盲在人工智能赛道上一直是最热门的话题之一。以前,让失明者重见光明依靠的是医学的进步或“奇迹”。而随着以“机器视觉+自然语言理解”为代表的多模态智能技术的爆发式突破,更多的失明者正在借助AI提供的感知、理解与交互能力,以另一种方式重新“看见世界”。
新契机:多模态算法或将造福数以亿计失明者
科学实验表明,在人类获取的外界信息中,来自视觉的占比高达70%~80%,因此基于AI构建机器视觉系统,帮助视障患者拥有对外界环境的视觉感知与视觉理解能力,无疑是最直接有效的解决方案。
一个优秀的AI助盲技术,需要通过智能传感、智能用户意图推理和智能信息呈现的系统化发展,才能构建信息无障碍的交互界面。仅仅依靠“一枝独秀”超越人类水平的单模态人工智能比如计算机视觉技术还远远不够,以“机器视觉+自然语言理解”为代表的多模态算法的突破才是正确的新方向和新契机。
多个模态的交互可以提升AI的感知、理解与交互能力,也为AI理解并帮助残障人士带来了更多可能。浪潮信息研发人员介绍说,多模态算法在AI助盲领域的应用一旦成熟,将能够造福数以亿计的失明者。据世卫组织统计,全球至少22亿人视力受损或失明,而我国是世界上盲人最多的国家,占世界盲人总数的18%-20%,每年新增的盲人数量甚至高达45万。
大挑战:如何看到盲人“眼中”的千人千面
AI助盲看似简单,但多模态算法依然面临重大挑战。
多模态智能算法,营造的是沉浸式人机交互体验。在该领域,盲人视觉问答任务成为学术界研究AI助盲的起点和核心研究方向之一,这项研究已经吸引了全球数以万计的视障患者参与,这些患者们上传自己拍摄的图像数据和相匹配的文本问题,形成了最真实的模型训练数据集。
但是在现有技术条件下,盲人视觉问答任务的精度提升面临巨大挑战:一方面是盲人上传的问题类型很复杂,比如说分辨冰箱里的肉类、咨询药品的服用说明、挑选独特颜色的衬衣、介绍书籍内容等等。
另一方面,由于盲人的特殊性,很难提取面前物体的有效特征。比如盲人在拍照时,经常会产生虚焦的情况,可能上传的照片是模糊的或者没有拍全,或者没拍到关键信息,这就给AI推理增加了难度。
为推动相关研究,来自卡内基梅隆大学等机构的学者们共同构建了一个盲人视觉数据库“VizWiz”,并发起全球多模态视觉问答挑战赛。挑战赛是给定一张盲人拍摄的图片和问题,然后要求给出相应的答案,解决盲人的求助。
另外,盲人的视觉问答还会遭遇到噪声干扰的衍生问题。比如说,盲人逛超市,由于商品外观触感相似,很容易犯错,他可能会拿起一瓶醋却询问酱油的成分表,拿起酸奶却询问牛奶的保质期等等。这种噪声干扰往往会导致现有AI模型失效,没法给出有效信息。
最后,针对不同盲人患者的个性化交互服务以及算法自有的反馈闭环机制,同样也是现阶段的研发难点。
多解法:浪潮信息AI助盲靶向消灭痛点
AI助盲哪怕形式百变,无一例外都是消灭痛点,逐光而行。浪潮信息多模态算法研发团队正在推动多个领域的AI助盲研究,只为帮助盲人“看”到愈发精彩的世界。
在VizWiz官网上公布的2万份求助中,盲人最多的提问就是想知道他们面前的是什么东西,很多情况下这些物品没法靠触觉或嗅觉来做出判断,例如 “这本书书名是什么?”为此研发团队在双流多模态锚点对齐模型的基础上,提出了自监督旋转多模态模型,通过自动修正图像角度及字符语义增强,结合光学字符检测识别技术解决“是什么”的问题。
盲人所拍摄图片模糊、有效信息少?研发团队提出了答案驱动视觉定位与大模型图文匹配结合的算法,并提出多阶段交叉训练策略,具备更充分的常识能力,低质量图像、残缺的信息,依然能够精准的解答用户的求助。
目前浪潮信息研发团队在盲人视觉问答任务VizWiz-VQA上算法精度已领先人类表现9.5个百分点,在AI助盲领域斩获世界冠军两项、亚军两项。
真实场景中的盲人在口述时往往会有口误、歧义、修辞等噪声。为此,研发团队首次提出视觉定位文本去噪推理任务FREC,FREC提供3万图片和超过25万的文本标注,囊括了口误、歧义、主观偏差等多种噪声,还提供噪声纠错、含噪证据等可解释标签。同时,该团队还构建了首个可解释去噪视觉定位模型FCTR,噪声文本描述条件下精度较传统模型提升11个百分点。上述研究成果已发表于ACM Multimedia 2022会议,该会议为国际多媒体领域最顶级会议、也是该领域唯一CCF推荐A类国际会议。
在智能交互研究方面上,浪潮信息研发团队构建了可解释智能体视觉交互问答任务AI-VQA,同时给出首个智能体交互行为理解算法模型ARE。该研究成果已发表于ACM Multimedia 2022会议。该研究项目的底层技术未来可广泛应用于AI医疗诊断、故事续写、剧情推理、危情告警、智能政务等多模态交互推理场景。
眼球虽然对温度并不敏感,但浪潮信息的研发团队,却在努力让盲人能“看”到科技的温度,也希望吸引更多人一起推动人工智能技术在AI助盲、AI反诈、AI诊疗、AI灾情预警等更多场景中的落地。有AI无碍,跨越山海。科技的伟大之处不仅仅在于改变世界,更重要的是如何造福人类,让更多的不可能变成可能。当科技成为人的延伸,当AI充满人性光辉,我们终将在瞬息万变的科技浪潮中感受到更加细腻温柔的善意,见证着更加光明宏大的远方。
浚县 古城百年物华新******
图①:夜幕下的云溪桥。柴俊林摄
图②:国家级非物质文化遗产浚县泥咕咕。申小飞摄
图③:古城岁月。王少斌绘
图④:浚县民间艺人宋学海正在为泥咕咕上色。记者 王 者摄
浚县古城今貌。扈文波摄
两架青山一溪水,十里城池半入山。
豫北平原,一望无际;滔滔河水,奔腾向前。千年水涨水落,似是此起彼伏的漕运号子。
《太平寰宇记》载:“卫河、淇水合流亦曰黎水,亦曰浚水。”这里是河南省鹤壁市浚县,也是汉代的黎阳县、唐代的黎州总管府、宋代的浚州、明代的浚县……
岁月轮转,走过650余年,浚县城池虽几经变换,但那饱经沧桑的厚重却似不曾被风蚀半分,是中原地区迄今保存最好的古城之一。
过去的人们在这里生息,拿泥土夯建城墙、从泥土里种出粮食、用泥土捕捉艺术。“土”,一个平实的字眼,却绵延出一方天地,以及质朴又厚重的文化。
登高眺远
一面土城墙,讲述岁月变迁
年逾花甲的张富民,是土生土长的浚县人。趁晨光熹微,他赶早起床,不消几分钟,便步行至古城开始晨练。
“除去在外当兵4年,俺这辈子就没离开浚县!”张富民说着话,还咬了一口刚出炉的子馍,酥脆掉渣。张富民前些年从县志办退休,如今一有空就来老城逛逛。
“1994年,浚县入选第三批国家历史文化名城,也是河南省唯一的县级国家历史文化名城。”张富民颇为自豪。
“走!我来带你转转。”张富民很热情,“你看,那就是古城的土城墙。”
城墙墙体是土坯,外壁加以石块,在岁月侵蚀下,略显斑驳。城墙上有很多弹孔,那是战争年代的痕迹。过去城墙夯土内芯流失,经后人多次修补,土城墙历经风霜,仍静静矗立于此,守护并见证着时光变迁。
穿过云溪桥,便步入古城西门。城门上镌有“西瞻行翠”四个大字,张富民微微一笑,并不解释:“登楼便知。”缓步登上西侧城墙,放眼望去,远处太行山群峰挺拔,轮廓清晰,如此景象和意境,可不就是“西瞻行翠”!再转头俯瞰城内,屋舍俨然,可见袅袅炊烟升起。
循梯而下,张富民带着记者漫步老街,百年古城,古意盎然。“浚县古城坚持了修旧如旧的原则,‘土’的原貌保护了下来,古城修复了,我们就有了发展的底气。”张富民说。
2012年,浚县启动古城保护修复项目,昔日的烟火气又回来了。独具风格的文化书店,为游客打造了一隅静谧的阅读空间;浚县坠子戏、杂技表演在古城轮番上演……人们来到这里,尽情感受古城里的人间烟火。综合收入突破8亿元、接待游客累计超680万人次,在文旅融合的浪潮中,浚县古城蹚出了一条发展的新路子。
走着走着,一座豫北建筑风格的四合院吸引了记者的注意。院内仰瓦覆顶,蓝砖砌墙。“这是翰林府,相传是端木子贡七十八代孙端木涣若的府邸。”张富民说。府院内的亭台楼榭别具风格,设一处私塾,威严庄重,过去教书先生于此讲学开课。“我上中学的时候,老师还带我来这里参观呢。”张富民说。时间与记忆在此叠合,沿街两侧门市传出的各色叫卖声,似乎也穿过了半个世纪。
街旁,老城居民拿出一条板凳,晒着太阳喝着茶。偶见有游客落座,便攀谈几句,聊聊家常,讲起浚县的古与今。
襟山枕河
一方水与土,孕育中原粮仓
有言道:“黎阳收,顾九州。”
浚县的“土”,更在于丰收之土地。
县域地势平坦开阔,又有运河流经,良田众多,自古便以粮食闻名于中原。丰收的沃土,孕育了浚县天下粮仓的盛名;宽阔的运河,丰富了中原百姓的味蕾。
古城老街上,文庙、县衙一字排开。县衙后面有4座圆形建筑,是建于上世纪50年代的土圆粮仓。土圆粮仓的仓身为砖结构,圆柱形,仓顶攒尖灰瓦顶,下部东北面开仓门,上部设通风窗。仓内顶部为4层木梁架结构,梁架用木条和泥搭建,数百根木头交织搭建,交错纵横,井然有序。
“土圆粮仓,其实是一个半自动化的出粮设备,凝聚着劳动人民的智慧。”张富民对粮仓的结构了然于胸,“粮仓在修建之前,会先用大火烘烤地面,防止返潮。之后地面铺撒白灰,最后铺设地砖。粮仓的墙壁与墙壁之间,填置沙土,吸收潮气,隔绝外温。粮仓的最下方设有一个小漏斗作为出粮口,粮栓一拉,粮食就源源不断流出。”
“说起浚县粮仓,那可有着久远的历史。隋代曾在这里建起黎阳仓,人们利用大运河漕运输送粮储。几百年间,黎阳仓规模庞大,一直是中原地区的重要粮仓。”张富民说,“2011年,专家团队对黎阳仓遗址考古发掘。依托考古发掘成果,我们还在黎阳仓旧址造了一个黎阳仓遗址公园。”
2011年12月,河南省文物考古研究院和浚县文物旅游局合力对黎阳仓遗址进行考古发掘,发掘面积超2800平方米,出土大量隋、唐、宋器物。“依托考古发掘成果,浚县打造了黎阳仓遗址公园,透明玻璃雨棚覆盖,景观布道环绕,考古发掘现场尽收眼底,千年粮仓再展旧容。”浚县旅游发展服务中心负责文物工作的张银波介绍。
如今的浚县粮仓,早已搬离旧址、走出古城。一座座现代化的粮仓在浚县的土地上拔地而起,取代了过去的木质粮仓。粮仓内恒温恒湿、智能安防系统实时监测粮情、粮食出入库全部实现自动化……这片土地孕育出的粮食,以现代化的方式更好地滋养着老百姓的生息。
而古城老街内的粮仓,也旧貌换新颜。前些年,张富民还参与了4座粮仓的修复工作。如今这4座小型粮仓已经打造成了微型博物馆,用以展现浚县的风土人情,里面播放着大运河微电影,“土气”的粮仓日渐时尚起来。
云溪燕语卫水舟,橹桨声声入梦来。运河充沛的水流,滋养着浚县肥沃的土地。千里沃野上的颗颗麦粒,沿着四通八达的交通网络,流向四方百姓的餐桌。
传古承今
一件土泥塑,“唱”尽古朴民风
浚县的泥土会唱歌。
已是暮色四合,张富民带着记者行走古城,只为寻一曲泥咕咕的歌唱。
浮光跃金,静影沉璧,落日余晖划过云溪桥,浚县古城已是华灯初上。烟火腾起,古城夜市喧闹,非遗的魅力与古城的厚重在夜晚碰撞、交织。
夜市上,王红瑞从泥堆里捧出土,放在手掌揉成团,再捏成小鸟形状,拿起木棒戳好进气孔、出气孔,最后用细棒精心雕刻,晾干之后,一只泥哨子的塑坯就制作完成。
“这泥塑现在看着‘土’,穿上‘花袄’可就成了宝贝。”王红瑞说,涂上清漆的泥哨子,经过24小时烧制定型,便制作完成了。张富民把泥哨子放在口中吹响,声音悠扬动听。
浚县的“土”,还体现在土泥塑——泥咕咕。从汉代开始,泥咕咕便在浚县盛行。浚县泥咕咕是国家级非遗项目。
浚县杨玘屯村村民王红瑞捏了30多年泥咕咕,他在自家大院搭建窑炉进行烧制,妻子闲暇时间也会帮他制作。“我爷爷就捏泥咕咕,爸爸也捏,天天‘灰头土脸’,全村几乎家家都会捏泥咕咕。”从小就跟泥土打交道,王红瑞身上透着一股质朴。
“古城人气越来越旺,我们在集市上现场做泥咕咕,让人家看看浚县非遗的风采。”王红瑞拿起一个生肖题材的泥咕咕向记者展示。
话音未落,民间社火的展演队伍已经走来。马国利踩着高跷,不时向路边的游客挥手致意。社火展演的队伍沿着道路前进,舞狮队伍生龙活虎,抬歌队伍高峭奇险,高跷队伍和着鼓声一步一探,观者如云,热闹非凡。
民间社火是浚县传统的群众性娱乐活动。本是祈求风调雨顺、人寿年丰的民俗活动,在不断演变中,浚县百姓将音乐、舞蹈融入社火表演,日渐成为大家喜闻乐见的民俗文化活动。目前,全县近半数的村都有社火晚会。
“为了在夜游时向游客展示民间社火的风采,最近我们都在加紧排练。”作为民间社火的表演者,43岁的马国利已经表演了30多年,“排练时要一连在高跷上站6个小时,但因为有意思,也不觉得辛苦。”
“初八、十五进古城,初九、十六山上去。”每年正月,社火演出都是浚县最重要的民俗文化活动。路上行进的是社火演出队伍,路边摊位则摆满各式泥咕咕,其中,当年的生肖泥咕咕最为紧俏。
春节临近,马国利叫上高跷队的队友排练起了新动作;王红瑞满头大汗,忙着赶制泥咕咕;而张富民与老伴正准备一起去黎阳仓遗址公园,晒晒冬日暖阳……
记者 王 者
(文图:赵筱尘 巫邓炎)