快速登录
我这两天也做了相关的测试。发现如果用Nvidia显卡加速的话,CUDA的provider, 全精度跑的比int8要快许多。貌似是由于pytorch转int8这种预量化的方式,在CUDA provider执行时,是先转float再进行计算。这样反而慢。所以想用CUDA加速的话,要用直接导出的全量模型。导出脚本里encoder的导出参数应该再加个location参数,由于encoder的全量模型超过2GB,需要指定一个额外扩展文件。
试着转fp16失败。直接用sherpa-onnx提供的encoder.fp16.onnx模型,计算出来的logits都是blank token。应该是导出工具库有什么bug,或者调用参数不对。AI给出的脚步,也导不出来。
用全量的模型,TensorRT加速,运行时量化成fp16是可以的。量化成int8没有成功。我的3060需要等超级长的时间。感觉个人使用的话用CUDA加速就足够了。
另外,在Mac下,onnxruntime的CoreML provider超级拉垮,跟CPU的效果类似。MPS用不起来,ANE也用不起来。parakeet-mlx那个python项目,在我的M4 pro上,可以跑的跟RTX 3060差不多快,超级惊艳。
答:一打开电脑就弹出微信登录是由于将开机自动登录开启所导致的,如果不想开机登录,只需要将其关闭即可,下面是详细的操作方法:
1:电脑登录微信,点击界面左下角的三条横线
2:然后选择列表中的“设置”选项
3:之后将“开机时自动启动微信”前面的勾选点击撤销即可
微信是在发红包过后,点击发红包,它就会自动弹出来叫你选择封面。那封面就有许多个选项,有自定义的哟,那个普通的就可以自己去设计了
没办法,微信转账是要点击收款的
社交账号登录
我这两天也做了相关的测试。发现如果用Nvidia显卡加速的话,CUDA的provider, 全精度跑的比int8要快许多。貌似是由于pytorch转int8这种预量化的方式,在CUDA provider执行时,是先转float再进行计算。这样反而慢。所以想用CUDA加速的话,要用直接导出的全量模型。导出脚本里encoder的导出参数应该再加个location参数,由于encoder的全量模型超过2GB,需要指定一个额外扩展文件。
试着转fp16失败。直接用sherpa-onnx提供的encoder.fp16.onnx模型,计算出来的logits都是blank token。应该是导出工具库有什么bug,或者调用参数不对。AI给出的脚步,也导不出来。
用全量的模型,TensorRT加速,运行时量化成fp16是可以的。量化成int8没有成功。我的3060需要等超级长的时间。感觉个人使用的话用CUDA加速就足够了。
另外,在Mac下,onnxruntime的CoreML provider超级拉垮,跟CPU的效果类似。MPS用不起来,ANE也用不起来。parakeet-mlx那个python项目,在我的M4 pro上,可以跑的跟RTX 3060差不多快,超级惊艳。