在安卓与H5同时调用ChatGLM的API接口(流式接口)时,其中有一个客户端的返回是正常的,而另一个客户端返回却是乱码(解码后是空数据),同时模型报错。报错内容与问题请看
issue










官方回复如下:




后来我测试用多卡部署模型,比如3卡,此时可以支持3个以下的用户调用,但再多就不行了。