469 字
1 分钟
群里问一句,机器人要读多少东西?
有天我看了一眼费用,大肥鱼一天花了五块钱。我倒没想让群友少说几句。机器人放群里就是拿来聊的,总不能为了省钱,先发给大家一页指令让人背吧。
我先看的是它回答之前读了什么。群友问“我用烬打过哪几局”,需要的是这个选手拿烬的那几把。要是把他整个赛季每一场的阵容、BP、十个人的战绩都塞过去,哪怕最后只回一行字,前面那些也已经花掉了。
查排名恰好是另一种情况。有人问大狗赛区上单谁排最后,机器人拿到了十四个人里的前五名,居然想从第五名里挑个垫底。这里该让程序把十四个人都排完,按问题取末位,再把人名、场数、排名交给模型。这样它读的东西少,查的范围却是全的。
还有一块是人设。决定去哪里查数据的时候,知道问题和工具怎么用就够了。等查回来准备在群里说话,再把鱼的口气带上。我们拿同样的十一道题试过,原来用了 36,763 个 Token,有一版压到 16,035,结果连“赤羽叫啥”都查错了方向。这种省法我可不想用,人家还得再问一次。
现在我看一次查询,会分开看人设和聊天记录带了多少、查回来的数据有多大、模型回了几轮。算钱时还要看缓存命中了多少。最值得花时间抠的,往往是工具多给的那一大包东西。