以大模型、AIGC为代表的人工智能浪潮已经在悄然改变着我们生活及工作方式,但绝大部分人依然不知道该如何使用。
因此,我们推出了「AI在用」专栏,通过直观、有趣且简洁的人工智能使用案例,来具体介绍AI使用方法,并激发大家思考。
今天,我们分享 X 用户 @gabchuayz 的案例—— 利用 Claude 3 Opus (最贵的一款)视觉推理能力,读懂宜家家具安装说明书!
这也是 OpenAI 官方认可写好 Prompt 的重要策略之一,让模型充当某个角色,它往往会表现地更专业,回答也更明确。
下面是翻译过来的内容。对于不善阅读图片说明的用户来说,这个回答显然大幅降低了安装门槛,它甚至识别出了螺丝的型号。
使用提供的工具(100092),将2颗螺丝(104521、104522)固定在圆形零件上,如图所示。
当然,结果绝非完美。例如划线部分所示,什么是“锤形零件”?什么又是“带箭头标记的零件”?前面一个问题源自模型无法清楚区分图片中的螺丝和锤子工具;后面一个问题在于系统搞不清楚箭头其实表示的是这个零部件的插入方向。
有人说宜家最酷的不是家具,而是家具说明书——没有文字,只有图,一些顾客常常在组装过程中陷入沮丧。现在,可以考虑找一个帮手了。
这是我们得到的结果。虽然还是存在明显的问题,比如识别不了 d (不是螺丝,而是会随商品赠送的扭螺丝简易工具),但并不妨碍我们对安装步骤有一个大体了解,并且知道这是一种比较典型的宜家家居安装风格。
Claude 3 Optus 可以做到,其他领先大模型是否也可以呢 ? 还真未必。下面是 Gemini Pro 的“答卷”,差强人意,已经“臆想”是飞机的搭建了。目前 GPT-4 不接受这么多张图的输入,微软 Copliot 也只允许上传一张。
结果确实读懂了这是一幅吐槽宜家家居很难安装的漫画。不过,从第 9 幅图开始,模型就开始出错——正确答案是,用户饮弹自尽后,抢救无效,葬礼上的工人开始安装说明建造棺材和十字架,结果呢,确实不好装,十字架都歪了.......
Claude 3 Opus 也有不灵光的时候。尤其是当输入只有一张说明书时,Opus 并不能稳赢 GPT-4 。比如,这个茶几安装说明。
从返回结果来看,不仅文字识别存在问题(“层板”被识别为“房板”),拧螺丝的简易工具也识别不出来。解读安装步骤也有问题,比如步骤 3、4 其实是在固定腿部,但被识别为固定板子。
本文为澎湃号作者或机构在澎湃新闻上传并发布,仅代表该作者或机构观点,不代表澎湃新闻的观点或立场,澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问。