• 您当前的位置:首页 > 国内资讯 > 广东新闻 > 智能“屏保膜” 让盲人朋友更好地“玩手机”
  • 智能“屏保膜” 让盲人朋友更好地“玩手机”

    时间:2018-11-13 18:52:36

    来源:

    作者:

    拿出手机买东西、交水电费、定外卖……这些普通人看来随手可得的日常对于视障人士来说却遥不可及。不过为了他们不掉队,技术人员也没放弃努力。

    最近阿里联合清华大学—阿里巴巴自然交互体验联合实验室公布了一项人机交互研究新成果:一枚AI盲键,首次打通了语音和触感两大感官系统,为盲人朋友更好“玩手机”提供了一种新可能。

    据阿里巴巴人机自然交互实验室研究员赵晨介绍,这种新的盲人触感反馈技术叫Smart Touch。具体做法是给手机贴一个新的“屏幕保护膜”,上面有支持触觉交互的“盲键”,通过低成本的屏幕盲键按钮提供触觉。更重要的是根据页面的动态变化,盲键对应的功能也随之改变,提升交互效率和用户体验。

    弥补语音交互的不足

    目前,视障用户通常使用读屏软件操作手机,用手指触摸屏幕后由读屏软件提供语音反馈。“但这样的交互方式还存在很多问题,比如缺少触觉反馈,用户经常需要访问大量不需要的元素,容错率低、纠错成本高且频繁,所以视障用户使用起来的用户体验并不是很好。”清华大学计算机系教授喻纯表示。因此,他们希望增加听觉、触觉等其它交互手段,以弥补单纯语音交互的不足,从而增加视障用户人机交互的便利。

    Smart Touch之所以可以实现盲键功能在不同页面的功能变化,离不开自动理解页面信息的智能算法。“该算法首先提取界面的语义和主要功能,然后以符合视障用户心理模型的方式映射到触觉盲键按钮上。因此,和现有的技术相比,Smart Touch不单提供语音交互,还提供基于界面内容理解的触觉盲键。”喻纯说。

    对于界面的主要功能按钮,视障用户也不再需要通过遍历的方式去使用,通过盲键可以层次化地访问界面元素,这大大改变了视障用户现在使用手机的方式,从现在的语音交互拓展到语音加触觉交互,为视障用户提供更高效更方便的用户体验。

    让智能交互代替明眼人讲解

    “我们技术的核心主要有两部分:界面理解和界面交互。具体来说,界面理解指对界面语意的理解。”据喻纯介绍,界面的内容包括三层:第一层解决“未加标签”控件。目前手机界面上有很多不同的图标,大多数图标是一张图片加文字,目前的读屏软件读出来的是“未加标签”,Smart Touch 通过算法自动地将图标和文本进行关联,为图标提供标签。第二层对手机界面的逻辑区块做自动识别,形成界面元素的层级组织。第三层则对界面的交互语义做理解,将界面依据视障用户的心理模型读出来。

    “我们的研究发现视障用户在使用手机的时候希望有个明眼人在旁边,把界面上的内容讲解给他/她。Smart Touch算法的长期目标是希望可以达到像用户旁边的明眼人一样转达页面内容。”喻纯说,“目前版本上不同界面的盲键是根据界面内容按规则变化的,随着我们算法的继续改进,以后界面的交互盲键也会自动生成,这样可以支持更多的手机应用。”

    低成本惠及弱势人群

    “视障用户去应用商店下载运行Smart Touch APP后,第一次需要先根据提示在手机界面相应位置贴上‘盲键’按钮,然后就可以使用Smart Touch 提供的功能了。”

    落到实用性,赵晨表示盲键的成本非常低,“我们目前使用的是普通的硅胶膜,很便宜成本很低,这样才可以使大多数视障用户可以用得上用得起,更重要的创新是背后的AI算法。以后我们会对这个盲键进行更多的触感设计,让它有更清晰的触觉反馈,满足更多的应用程序的需要。未来可以免费发放给视障用户使用”。

    触觉是人与环境、人与人交互的一个重要通道,也是视障用户主要的信息通道,赵晨表示:“希望我们的技术创新不但服务于大众用户,也可以帮助像视障用户这样的弱势或少数群体,让他们的生活更愉快些。从另外一个角度,电话发明的初衷是为了帮助聋哑人,今天成为人人不可或缺的一个设备。从长远看来,我们希望为视障用户提供的技术以后也能逐步惠及大众。”实习记者 崔 爽

    关键词:
    最近更新
  • 约800件墨西哥和秘鲁藏品亮相北京
  • “两岸非遗名师对话”举行 共话融合中创新
  • 一捧泥土进课堂:天津泥人张彩塑的非遗传承新路
  • 老旧小区改造后屋面防水岩片全部脱落 中豫(天津)建设工程公司因使用不合格材料被罚
  • 桑火尧个展亮相浦东美术馆 展出52件新作
  • 光明肉业旗下上海梅林食品 特种设备检查被要求整改
  • 牛肉干检出违禁物氯霉素 重庆莉莱食品被罚4万元
  • 墨西哥策展人罗斯:以影像为桥促拉中人文交流
  • 文化中国行 | “百戏入皖”觅知音,合肥何以“圈粉”?
  • 安徽向上丨安庆怀宁:小蓝莓何以“链”成百亿产业
  • 楼梯间内设有办公室 晋江市荣誉大酒店有限责任公司多处消防隐患被罚1.56万元
  • 预包装食品标签不合规 福建泉州扬美食品违法生产获利两元多,被罚五千余元
  • 甘肃“博物馆日”办800项活动 洋学生“汉简之乡”写简牍
  • 违规收取燃气报警器费用 中石油昆仑燃气景泰分公司被罚2万元
  • 销售不符合标准的儿童电动牙刷 深圳猫上品牌管理公司被罚没1364元
  • 涉嫌发布虚假广告 深圳闪魔数码科技集团被罚1000元
  • 广西河池皮卡车坠河事件相关责任人被依法控制
  • 2026年“5·18国际博物馆日”南宁市主会场活动启幕 两大特展同步亮相
  • “飛天盛世集团酒”香气、口感等指标不合格 生产企业贵州茅特酒业被罚
  • 国际文旅体验官走进云峰屯堡感受六百年明代遗风