值得期待的katago18B权重
前天在更新公众号后，有网友评论鼓励，同时提到：最近10b权重放出来了，希望有时间测一下。之前在一个katago群中，看到过大家讨论18b权重，但无论是katago的github，还是katagotraining.org网站上，均没有看到18b的消息。看到网友回复，便从群里下载了管理员上传的linux版本已编译的katago程序，以及b18c384权重文件，上传到GPU云服务器上，进行18b与40b的十番棋。b18c384权重文件只有95M，比40B权重文件的一半多一点，是60B权重的四分之一不足。因为是看着katago20B权重与Leelazero40B权重的缠斗中成长的，所以先入为主地认为18B是一个简化版的权重，针对的是我这样的陋室AI。孰料，18B权重的表现让我大吃一惊，或者说是惊喜。与S670一样，在首局攻守无序失利后，其后开始强力反弹，以7：3获胜将S1184降格。棋谱在公众号中，就不重复上传了。Maxvisits设置为30000。https://mp.weixin.qq.com/s?__biz=MzU1MjM0NTU3MQ==&mid=2247491642&idx=1&sn=04224e3ddce63982a06277cab14482f1&chksm=fb812ab6ccf6a3a06024c5e814206f6fbf6eda6aae6b882285ffcabb14e32e568475c5ed4fb9#rd
你好。你的微信号我每期保存。不管是古谱还是狗狗。都是我们爱好者的财富，谢谢你! 支持支持！！！ 方便把权重贴出来吗？ 罗浩宇 发表于 2022-12-12 00:16
你好。你的微信号我每期保存。不管是古谱还是狗狗。都是我们爱好者的财富，谢谢你!
谢谢鼓励。 真的厉害了。18b权重执黑和它的专门引擎，杀得40B1184009丢盔弃甲
本帖最后由 zlyn 于 2022-12-19 23:40 编辑
楼上两位兄弟，看权重谁更厉害，需要把自己的电脑硬件配置报出来吧。
我18b和b40s1184交换黑白测了两盘，18b用的是opencl引擎，s1184用的是tensor引擎，每步棋设置15秒，对AI也算比较慢的棋了。结果18b两盘皆墨。没有感觉有何厉害之处。本人显卡2080ti，就和本人测试60b和40b一样，60b竟然打不过40b，我觉得更高一级的权重需要更强劲的硬件才能发挥出棋力，相信高规格的40系显卡跑60b和40b的话，60b会更厉害。低等级的硬件配置，运行小权重的话会更有优势，缩小了搜索量和受算力瓶颈制约，更高级的权重无法发挥出作用。
本帖最后由 512song 于 2022-12-20 08:58 编辑
我在原公众号中每局有配置设置，转文的时候忽略了。
原配置为恒源云GPU3090，Maxvisit为3万。 512song 发表于 2022-12-20 08:57
我在原公众号中每局有配置设置，转文的时候忽略了。
原配置为恒源云GPU3090，Maxvisit为3万。
GPU云服务器实际能分配给用户多少算力？能整个GPU火力全开吗？
zlyn 发表于 2022-12-20 11:10
GPU云服务器实际能分配给用户多少算力？能整个GPU火力全开吗？
之前用过恒源云，跑katagoGPU利用率基本能达到97%~98%
本帖最后由 hred9D 于 2022-12-20 19:31 编辑
zlyn 发表于 2022-12-19 19:42
楼上两位兄弟，看权重谁更厉害，需要把自己的电脑硬件配置报出来吧。
我18b和b40s1184交换黑白测了两盘，1 ...
你对权重的测试条件有误解，所以设置不对，对局结果不对。
不要拼硬件和时间，应该把Maxvisits设置为相同的计算量，比如双方30000，双方15000，这才公平。
这也是炼丹环境的设置原则，训练权重是不考虑硬件高低的，硬件高低不影响权重的质量，只是影响权重升级的速度而已。
相同Maxvisits数量设置，60B对40B，胜率是很高的。
18b本来是CUDA环境编译的，引擎不同，相同硬件下，居然运行速度是40B的五分之一左右，你拿4090也跑不起来计算量，此时18b每秒计算量1100，而40B是7000左右。
时间相同时，一方绝对领先的计算量，40B胜率高是正常的，但是条件不对等，结果不对。
本帖最后由 zlyn 于 2022-12-21 12:02 编辑
hred9D 发表于 2022-12-20 19:26
你对权重的测试条件有误解，所以设置不对，对局结果不对。
不要拼硬件和时间，应该把Maxvisits设置为相 ...
我测试60B对40B的时候，用katago benchmark 命令最优化了权重双方的numSearchThreads数，而且Maxvisits双方都设置成50万，都是用的tensor引擎进行的对战。60b就是打不过40b，问题出在哪里呢？每秒钟棋步搜索量60b几乎不到40b的一半甚至更低，问题还是显卡算力有了瓶颈啊。
要是如兄弟所说，硬件高低不影响权重的质量的话，那么为何有那么多AI爱好者津津乐道于升级更高更新的显卡甚至多卡呢。或者举个例子说，用10多年前老掉牙的显卡，只要给其足够长的落子时间和计算量，照样可以打败4090显卡，这不现实吧？
本帖最后由 hred9D 于 2022-12-21 12:24 编辑
zlyn 发表于 2022-12-21 11:42
我测试60B对40B的时候，用katago benchmark 命令最优化了权重双方的numSearchThreads数，而且Maxvisits双 ...
同一台电脑上引擎对弈，测试权重，设置相同计算量是必要的。
网络上AI对弈，相同权重，相同引擎，相同计算量，高端显卡绝大概率胜低端显卡。这个与CUDA数量和其他配置也有关系。这毕竟是两个独立的硬件配置。实际的网络遛狗，高低端显卡这中间应该也有计算量的差异。
这个18B确实厉害，和20B对抗6局全胜！！！
页:
[1]