12月7日，国内人工智能行业准独角兽“实在智能”2022冬季新品发布会重磅登场：“蝶变·新番”“带来一场震撼行业的RPA发布会！打破传统，变革模式。本次发布会从功能和体验两个维度带来了实在的“科技与狠活”，一言以蔽之：“一款真正人人可用的RPA。
实在智能CEO孙林君、产品负责人周春照、算法负责人欧阳小刚发布新产品和新技术
创业四年，实在智能始终秉持“AI赋能商业”的初心，坚定相信人机协同及超自动化时代的美好未来。凡事必作于细，也必成于实，致力于不断突破传统RPA的天花板，降低大众人群上手数字化工具的门槛，提升用户体验。
新模式：沉浸式搭建超自动化流程的IPA模式
新技术：智能屏幕语义理解技术（ISSUT）
沉浸式搭建超自动化流程的IPA模式，彻底打破RPA软件应用门槛，开启RPA“可视化窗口”时代：
相信大家正在用手机阅读这篇文章，那么不知您是否还记得2007年苹果公司的iPhone首次发布会。触屏手机的发明彻底改变了手机和消费电子产品行业，大幅降低手机的使用门槛，让手机全面普及，推动了移动互联网时代的爆发。这是一个用技术颠覆行业，并让全社会受益的经典案例。
沉浸式搭建超自动化流程的IPA模式，由“专家模式”迈向“小白模式”
传统RPA软件，其实是一种“专家模式”。即，用户如果想配置自动化操作，必须要先学会如何使用RPA软件，进而才能在RPA软件与业务软件之间不断切换，逐步以“拖拉拽”或“写代码”的方式，完成自动化流程配置。
而实在RPA的IPA模式，则完全不同，简言之这是一种“小白模式”。用户不需要额外学习使用实在RPA，也完全不需要“拖拉拽”或“写代码”，按照正常流程直接操作业务软件即可。
每当鼠标悬停，实在RPA会自动推荐（并可在线学习优化推荐）此处可以/可能进行的自动化操作。
每当鼠标点击，该步操作自动转为自动化流程中的一步。由此迭代，任何新手都可以迅速搭建自己的数字员工。
传统RPA“专家模式” vs 实在RPA“IPA模式/小白模式”
实在RPA的IPA模式，类似触屏手机的颠覆式创新，彻底推平了横亘在用户面前，导致传统RPA学习成本大、使用门槛高的三座大山——“拾取、元素和变量”，带来了真正的人人可用，实现“打开就能用、入门就上手”。
不妨来听听行业专家、专业用户提前尝鲜体验的反馈集锦：
震撼一：沉浸式的超自动化体验，识别一切，操作一切
· 不再需要传统RPA软件的“流程画布”，把“更大，更宽，更全面”的电脑屏幕留给用户。
· 不再需要传统RPA软件的“拖拉拽”，鼠标悬停+鼠标点击，即可完成自动化流程配置。
· 不再需要传统RPA软件与应用软件之间所必须的频繁切换，基于对所有屏幕元素的识别和理解，以及顶部“灵动岛” + 侧边“流程窗”的轻盈交互，实现在超自动化的元宇宙中快速打造数字员工。
震撼二：所见即所得的操作，一看就会，一用就对
无需学习：不用理解和记忆“组件/元素/变量”，不用“拖拉拽”，不用“写代码”。
无需思考：
· 鼠标悬停，马上弹出可能的自动化操作推荐列表
· 鼠标框选任意图像区域后，马上弹出可能的AI能力推荐列表（文字识别等）
· 支持基于场景和动作的在线学习，用得越多越“聪明”，推荐越准。
无需转化：鼠标点击，马上在“流程窗”中自动生成自动化流程。
自动理解上千种图标含义复杂页面结构并预测推荐自动化操作
为了更清晰、更全面地展示IPA模式的强大功能，这里用日常工作中最常见、使用频率最高的Excel数据处理做个简单演示。任何直接对数据表的操作，不仅包括，插入行或列，写入单元格或区域内容，自动填充、数据筛选、复制行列、插入新的sheet、重命名sheet、表格里内容的查找替换等。
甚至是，复杂的数据透视操作。都会在右侧“流程窗”中自动生成自动化流程，并自动忽略无效步骤，且可以直接运行。这种所见即所得的数字员工搭建方式，大幅提升数据采集和处理效率，降低了数据自动化处理门槛。
对Excel的人工操作自动生成简洁可执行的自动化流程。基于以上模式，以某客户真实场景的Excel自动化操作需求为例：
使用传统RPA：相对资深的RPA开发工程师需花4个多小时，通过50多个组件才能完成搭建。
使用实在RPA的IPA模式：无需RPA开发工程师，业务人员自身只需短短6分钟左右即可完成，“流程窗”中生成的动作只有32个，前所未有地提升了工作效率。同时，IPA模式还支持对复杂页面数据结构的自动分析，实现一键采集整个表格数据。
二、创新技术：国产自研，行业首创的智能屏幕语义理解技术
本次发布会上，实在智能同时重磅发布了IPA模式背后的全自研创新技术——智能屏幕语义理解技术（ISSUT：Intelligence Screen Semantics Understanding Techonology）。
产品是表，技术是里。
用心优化，用AI改变。
看到这里，相信大家已经领略了IPA模式的神奇和惊艳，下面我们就抽丝剥茧、正式拆解一下IPA模式背后“变戏法的帽子”：
Action 1：识别屏幕
1、融合拾取3.0技术：使得“元素”皆可拾取
RPA行业中提到的“元素”，指的是屏幕上的图标、文字或区域。RPA要首先识别它们，然后才能自动地点击和操作它们。
基于CV技术的融合拾取，支持无差别识别各类软件
实在智能在2022年3月31日“AI你所爱 新益求新”发布会中全行业首发了“融合拾取3.0”技术，高效精准地解决了复杂元素的识别和操作。
融合拾取技术持续快速迭代，精度速度大幅提升
在前期工作基础上，本次发布的ISSUT技术，解决了“何为元素、能否识别”等问题，只需鼠标轻轻一移、轻轻一点就能完成拾取元素这个动作。这是实现智能屏幕语义理解的第一步，也是实现RPA真正人人可用的第一步！
2、动态元素匹配技术：使得“元素”一键适配
RPA行业中提到的“元素”，指的是屏幕上的图标、文字或区域。RPA要首先识别它们，然后才能自动地点击和操作它们。当文字内容或图标外观发生了改变时， RPA机器人有可能会找不到之前的元素。这时就是动态元素匹配技术的用武之地：
· 借助AI算法，轻松处理元素变化情况
· 一次识别，永久适配
Action 2：理解屏幕
1、页面结构分析技术：既能检得更小，也能看得更大
举个栗子：
当我们使用聊天软件的时候，人可以轻松理解软件界面（电脑屏幕），知道哪里是消息列表，哪里是对话输入框……那么问题来了，RPA机器人如何准确、快速、更好地模拟人工操作呢？
为此，我们引入了页面结构分析技术，使得实在RPA在“认识屏幕”之外，更可以“理解屏幕”，并可自适应页面拉伸/移动/及文字填充/位移等各种变化情况。其中包含多项独创技术亮点：
· 页面图神经网络分析
· 动态缩放自适应
· 区域内容填充识别
通过页面结构分析技术智能理解聊天软件界面
2、屏幕语义抽取技术：隔屏取物，懂你所见
这项技术，使得IPA模式真正像人一样理解屏幕的每一个部分，将我们的办公直觉投射到屏幕上，实现真正的所见即所得：
在VR中，我们可以隔空取物；在实在RPA的IPA模式中，我们可以隔“屏”取物——即，鼠标的每一次滑动，背后的AI算法都将瞬间完成一次计算，分析出屏幕中元素和区域的含义并且推荐相应的自动化操作：
· 当鼠标滑过一个浏览器图标，AI就知道它能用来打开网页和搜索新闻；
· 当鼠标滑过一个对话框，AI就判断可以输入文字并发送消息；
· 当鼠标框选一个包含各种文字的区域，AI就知道可以进行文字识别及抽取。
Action 3：操作预测：
1、多模态意图预测从“头秃想想想”到“自如点点点”
对于传统RPA（“专家模式”）RPA开发工程师往往需要从一堆的组件中找到一个想要的组件，通过“想想想+拖拉拽”完成自动化流程配置；
对于实在RPA（“IPA模式/小白模式”）多模态意图预测技术，可以支持通过多模态识别和序列上下文挖掘等方法，精准预测用户的每一个操作意图，抹平了从业务场景操作到RPA组件之间的理解鸿沟：
· 用户的每一次点击就是一次拾取；
· 用户的每一步操作都在配置流程。
应用软件操作回到台前，RPA开发退回到幕后，实现二者的真正分离。
2、业务感知推荐：理解场景，操作业务
结合表格检测、场景预测和自然语言处理技术，实在RPA的IPA模式。不仅可以，自动推荐原子级操作（点击图标、输入文字、鼠标移动）；还可以，基于业务场景理解，自动推荐业务级操作：
· 打开网站登录页面，鼠标划过登录区域，自动推荐「智能登录」操作；
· 打开商品列表页面，鼠标划过任何带有数据区域，自动推荐「数据采集」操作。
通过多模态意图预测技术，感知业务场景并推荐自动化操作
Action 4：在线学习
本次发布会还有一个功能彩蛋：实在RPA的IPA模式支持在线学习和迭代优化。这也正是AI产品的魅力之所在！根据用户的反馈，算法模型将通过在线学习技术和自动优化机制，能够记住选择和喜好，用的越多，推荐越准。
值得一提的是，所有模型算法都内置在用户本地办公环境，操作习惯和数据均不会通过网络上传，并且配置有防护机制，最大限度地保护用户数据隐私安全。从这个意义而言，实在RPA的IPA模式：
· 不仅是人人可用的沉浸式超自动化流程配置模式，更是千人千面的个性化数字员工搭建工具。
· 通过技术的“仪式感”，让每个人都拥有专属的、尊重数据隐私的超级自动化产品。
“蝶变”意味着破茧而出，羽化成蝶。本次发布会选此作为主题，寓意着快速大量的产品创新和功能迭代为实在RPA带来的破茧成蝶，真正实现RPA成为人人可用——也标志着实在智能超级自动化平台正式跃入“新、广、信、强”的阶段。越过山丘，IPA模式引领超自动化全新时代。
