既可以做LM也可以做MLM的周文王模型

 ✒️ @halomaster 📅 09 Mar 2023, 14:08 GMT⋮ 【AI】 

该模型由IDEA研究院认知计算中心和追一科技有限公司共同研发,采用了新的结构设计,可以同时完成LM(语言模型)和MLM(掩码语言建模)两个任务,具有生成和理解的能力。此外,该模型还加入了旋转位置编码技术,增强了其对词汇顺序和全局信息的处理能力。现有的这个Zhouwenwang-Unified-1.3B大模型包含13亿参数,是目前中文领域中最大的LM和MLM模型。作者还表示,他们将继续在模型规模、知识融合和监督辅助任务等方面进行优化和改进。该模型的推出将为中文自然语言处理领域带来新的方法和技术,对于提高自然语言处理的准确性和效率具有重要意义。 https://huggingface.co/IDEA-CCNL/Zhouwenwang-Unified-1.3B https://fengshenbang-doc.readthedocs.io/zh/latest/docs/%E5%91%A8%E6%96%87%E7%8E%8B%E7%B3%BB%E5%88%97/Zhouwenwang-Unified-1.3B.html


0 replies