英伟达开源3400亿参数模子Nemotron-4 340B
当地手艺6月14日，英伟达开源Nemotron-4 340B（3400亿参数）系列模子。据英伟达先容，建树东谈主员可使用该系列模子生成合成数据，用于磨练大型话语模子(LLM)，操盘用于医疗保健、金融、制造、零卖和其他行业的生意哄骗。
Nemotron-4 340B包括基础模子Base、教导模子Instruct和奖励模子Reward。英伟达使用了9万亿个token（文本单元）进行磨练。Nemotron-4 340B-Base在知识推理任务，如ARC-c、MMLU和BBH基准测试中，不错和Llama-3 70B、Mixtral 8x22B和Qwen-2 72B模子失色。
