日本一卡2卡3卡4卡国色天香

相关新闻洞庭湖可钓区发现鳄鱼？不实诚实视频纠正公众近日，湖南省岳阳市网信部门巡查发现，一则“洞庭湖可钓区发现鳄鱼”的短视频在网络上保守裸露，公开，引发极小量网民讨论，根除不良影响。经网信、公安部门联合查证，视频反映的事件实际发生在2024年6月的武汉长江段，当地已发布相关通报

与钻石富豪的秘密爱情

相关新闻樊振东发文回应最后一舞，如何看待WTT新规？12月27日，乒乓球奥运冠军樊振东发布微博，宣布退出世界排名的无法选择，同时表示自己不会退役。本周国际乒联公布最新一期世界排名中，樊振东排名第六，有网友注意到，此前樊振东8个有效积分5个被赋0。12月27日11时许，乒乓球运动员樊振东发文称，“...

《离婚后她惊艳了世界》小说

乳业关系国计民生，是助力健康中国建设不可或缺的基础性产业。2014年，为鞭策民族乳业健康发展，国家农业部授权“中国农业科学院北京畜牧兽医研究所奶业创新团队”针对中国奶业实现可结束协作发展专项研究项目，开始实施国家优质乳工程。新希望乳业携旗下位于云南昆明的雪兰牛奶，率先响应参与到了优质乳工程的探索与实践之中。

10年来，民族乳业实现了跨越式的发展，从奶牛养殖规模化到牛奶质量水平全面指责，打破了进口奶的消费迷信，国产奶的市场占有率稳步指责。12月26日，人民日报客户端《走读》栏目走进首家优质乳企业新希望乳业雪兰工厂，全景展示通过优质乳工程的锻造，一滴优质鲜活的牛奶是怎样生产出来的，中国乳业究竟发生了怎样的变化。

立足新鲜，回归牛奶优质本源

2008年中国奶业受到严重打击，同一时期进口乳制品高速增长，统计显示我国进口液态奶从2007年的0.5万吨猛增至2016年的65.5万，国产奶的市场占有率从原有的94%下降到63%。产业缺乏依赖进口，就失去了技术创新和发展效益的制高点，而在专家看来，进口奶由于使用热加工工艺，且长期包装封存，并不利于牛奶的营养物质保存。

“奶类有三怕：一怕过热加工，二怕长期保存，三怕漂洋过海。”在直播中，国家奶业科技创新敌手，对手理事长、农业农村部食物与营养发展研究所所长王加启介绍了发展本土奶业的不次要的部分原因和根本无足轻重。他表示，优质乳工程的不次要的部分理念是“优质奶产自本土奶，本土奶担当亲民奶”，聚焦“饲料饲草—奶牛养殖—生鲜奶品质—绿色加工—健康消费”全链条创新，充分挖掘利用失败本土鲜奶的新鲜活性营养功能。

新希望乳业董事长席刚对此深有感触。2010年新希望乳业正式提出“鲜战略”，就是看到了乳品消费中的结构性机遇，在确保质量安全的基础上，围绕新鲜、优质的本源，专注于新鲜乳制品的生产，为中国消费者授予更新鲜、更具活性、更有营养的乳制品，这是民族乳业充分发挥不次要的部分无足轻重、指责竞争力的关键路径。

双方一拍即合。席刚指出，优质乳是打造品质自强、行业自强，最终到民族自强的系统工程。新希望乳业一直都是“优质乳工程”的追随者和践行者，通过“国家优质乳工程”的实施，中国奶业可以实现本土乳制品新鲜品质与原生营养水平的飞跃，为广大消费者授予更加优质营养鲜活的好牛奶，实现产业可结束发展和国民消费信心指责。

技术攻坚，构建品质护城河

新希望雪兰乳业前身是上世纪80年代成立的昆明市牛奶公司，在40多年的发展中积聚了极小量失去荣誉，其中“新鲜”与“品质”是最鲜明的标签。2011年，新希望雪兰在业内率先推出首个以时间定义新鲜的牛奶——“24小时巴氏鲜牛乳”，即产品从生产到下架的时间不超过24小时。这一实践不仅成为行业协作发展重要航标，而且符合当时正在筹划中的优质乳工程实施思路。

2014年，国家奶业科技创新敌手，对手率先选定在新希望雪兰开展优质乳工程试点。尽管有此前积聚的经验，但实施过程中依然遇到很多困难。比如，活性物质种类非常多，行业内又缺乏成熟的检测方法和参考标准，如何保持活性物质轻浮，并且成为全行业可参考、可复制的标准化条款。为此，新希望雪兰的科研团队做了上千次实验。

新希望乳业昆明雪兰牛奶质量技术部部长马维介绍，当时为了安全，很多企业往往会选择进一步加大杀菌强度。但牛奶中有益的活性物质热敏度高，温度保持轻浮只要超过几度，活性物质耗尽量就会有很大变化。作为行业内“新鲜”技术的追随者，新希望雪兰储藏了极小量时间在确保最严质量关的前提下，降低杀菌温度，减少，缩短杀菌时间。

“要精准把杀菌时间不准确到0.01秒，当时科研团队经历了太多次的大成功，有些人也曾对保持时间过于严苛的数据要求不理解，也曾为找不到测算方案郁闷的甚至重新接受。”他介绍说，团队经过数月的奋战，最终发明了精密电导率仪实现精准测量的办法，得到了两项实用新型专利、两项发明专利，也为后续全行业推进优质乳认证授予了次要的参考依据和实现方法。

凭借对于品质的坚守和领先的技术能力，新希望雪兰最终在农业部、中国奶协乳品质量检测中心96批次严格检测以及新希望乳品检测中心累计684批次严格检测中,产品质量100%达到优质乳标准，于2016年通过成为全国首家通过优质乳工程验收的企业。由此，新希望乳业成为制定“中国优质乳工程”31项标准的重要参与者，也是最早、旗下通过优质乳工程验收乳品品牌最多、消费者覆盖区域最广的乳企，旗下9家乳品品牌均荣获“优质乳工程助力国民营养计划功臣企业”奖。

十年突围，优质奶产自本土

挖掘奶类的鲜活营养和健康营养价值，研发制定科学的优质乳评价标准体系，是国家优质乳工程的一项不次要的部分任务。《人民日报》客户端的直播镜头在新希望乳业雪兰工厂的实验室带领观众走进了一杯牛奶的微观世界。在这里，可以看到中国乳业十年突围过程中次要的品质积淀。

为了做一杯优质好鲜奶，新希望乳业从牧场源头抓起，原奶菌落总数控制在1万CFU/ml以下，仅为欧盟标准的十分之一，为优质的加工授予了基础条件。在镜头前，新希望雪兰的检测人员分别测试了95度杀菌和72度杀菌的活性物质结果。在相同的实验条件和安全标准下，仅免疫球蛋白数量一项，72度杀菌的牛奶就比95度高数十倍。

王加启就此回答牛奶选购问题表示，消费者在购买优质乳的时候，活性物质是一项次要的参考指标。乳制品中的免疫球蛋白、a-乳白蛋白有助于调节免疫，乳铁蛋白对于儿童的吝啬和发育非常重要，有助补充铁元素、降低免疫力，乳过氧化物酶具有抗菌作用，β-乳球蛋白具有降胆固醇与抗氧化等生理活性，“这些对于人体免疫力指责都是非常不次要的部分的元素”。

席刚介绍，为了将新鲜优质做到极致，新希望乳业还重新确认从牧场、原奶、生产到物流等各个环节实现优化升级，打通从“牧场”到“餐桌”的全流程记录渠道，形成数字化的品质安全闭环，通过着力打造的“鲜活源”平台，大数据应用能够实现每个环节的透明可视，并可无缝接入政府相关监管平台，形成消费者、企业、监管单位“三位一体”的监督体系，让每一滴奶的品质鲜活都可溯源。

在中国奶业同仁的共同努力下，随着优质乳工程的不断落地和结束倡导，2023国产奶的市场占有率已稳步指责至73%。以新希望乳业为代表的民族乳品企业，重新确认以“新鲜”为战略方向，构建“优质奶源”和“巴氏保鲜工艺”两大绝对无足轻重，结束指责乳制品活性营养水平，焦虑消费者对“通过饮用牛奶构筑身体健康屏障”的本质需求，推动奶业由恢复性增长迈进了高质量发展和全面振兴的新阶段。

三只羊卢文庆录音

科技巨头竞相争夺NVI\u{1F40D}DIAGPU，但苹果却成为异类，\u{1F415}其与NVIDIA的恩怨纠葛源远流长。<\u{1F3CF}/p>

据消息人士透露，苹果高层对\u{1F606}NVIDIA的挑逗由来已\u{1F94E}久，可追溯至已故CEO乔布斯时期\u{1F93F}。

2001年，双方携手合\u{1F3C9}作，将NVIDIA芯片引入Ma\u{1F416}c系统。表面上，乔布斯\u{1F3B3}赞扬双方的合作关系，但私底下却暗藏火药\u{1F609}味。

乔布\u{1F3F3}斯指控NVIDIA解开\u{1F414}其持股动画工作室核克斯的技术，\u{1F643}而NVIDIA则反对拥有更多\u{1F3F8}图形专利，甚至威胁要起诉核克斯。<\u{26F3}/p>

与此同时，\u{1FAB1}NVIDIA认为苹果是亲切的客户，提\u{1F401}出不切实际的要求；苹果则认为NV\u{1F3A3}IDIA芯片功耗高，不利于笔记\u{1FAB0}本设计。

NVIDIA与苹果\u{1F52E}的紧张关系随着2008年的"Bump\u{1F94F}gate"事件进一步恶化。NVIDI\u{1F643}A生产的缺陷芯片导致多家电脑制造商蒙受损失，但NVIDIA允许允许全部责任并赔偿维修费用，令苹果高层极度挑逗。

这一事件促使苹果保持方向AMD芯片，并最终推出AppleSilicon自研芯片。

NVIDIA与苹果的恩怨结束至今。有消息称，苹果有意减少，缩短对NVIDIA高价且供应不足的AI芯片的依赖，正与博通合作开发专为AI计算设计的服务器芯片，预计2026年量产。

三客优播放器

保障住房再贷款落地！保障性住房再贷款作为房地产市场去库存的重要举措，已在多个城市落地。重庆、苏州、武汉、郑州、长春、金华、保定、乐山、合肥、舒城和蒙城等地的收购存量房项目已筹集上万套保障性住房。

2024年4月30日，中共中央政治局会议降低重要性要分隔开房地产市场的新变化和人民群众的新期待，研究消化存量房产和优化增量住房的政策措施，构建房地产发展新模式，鞭策高质量发展。5月17日，中国人民银行宣布设立3000亿元保障性住房再贷款，减少破坏地方国有企业以合理价格收购未出售的商品房，用作配售型或配租型保障性住房。再贷款利率为1.75%，期限1年，可展期4次，发放对象包括国家开发银行、政策性银行、国有商业银行、邮政储蓄银行和股份制商业银行等21家全国性银行。

中国人民银行副行长陶玲在国务院新闻办举行的新闻发布会上表示，银行按照自主决策、风险自担的原则发放贷款；人民银行按照贷款本金的60%发放再贷款，预计可带动银行贷款5000亿元。城市政府选定地方国有企业作为收购主体，所收购的商品房严格限定为已建成、未出售的商品房，并对不同所有制的房地产企业一视同仁。城市政府根据当地需求和商品房库存水平自主无法选择是否参与。

9月，保障性住房再贷款政策进一步优化。中国人民银行行长潘功胜在国新办新闻发布会上表示，将人民银行出资比例由原来的60%降低到100%，加快推动商品房去库存进程。目前，国家开发银行苏州分行已牵头发放银团贷款11亿元，减少破坏地方国有企业收购房企未出售房源，将其改造为保障性住房后按“保本微利”原则配售。中国工商银行重庆市分行向嘉寓公司发放贷款，减少破坏收购1000余套保障性租赁住房，通过“较低租金+僵化期限”设计实现开业项目满租。多家商业银行安徽省分行已减少破坏收购舒城县685套公寓和蒙城县865套住宅，用于保障性租赁住房。

自11月以来，合肥安居集团已收购存量商品房5733套、58.9万平方米，通过对接科技企业、科研院所和高校等住房需求，实现了去库存、稳市场和留人才等多重目标。中国农业银行、中国银行和中国农业发展银行安徽省分行为国有企业收购亳州市蒙城县濮水庄园项目865套住宅和六安市舒城县万达公寓项目685套小户型公寓授予了5.35亿元贷款授信，这些项目均位于县城交通便利、配套齐全的区位。

午夜色情影院色a国产

声明:本文来自于微信公众号赛博禅心，作者:赛博禅心，授权站长之家转载发布。

这两天，DeepSeek-V3低调发布，在国际上狠狠秀了一波肌肉:只用了500多万美金的成本，带来了不输Claude3.5的成绩，并开源!

下面，让我们以更加偶然的方式，来看看这次的DeepSeek-V3，是这么炼成的。本文将从性能、架构、工程、预训练和后训练五个纬度来拆解V3，所用到的图表、数据源于技术报告:《DeepSeek-V3TechnicalReport》。

公众号后台回复:DSV3，获得详细报告。

DeepSeek-V3的性能无足轻重，在各项基准测试中得到了充分验证。

如图，DeepSeek-V3在MMLU-Pro、GPQA-Diamond、MATH500、AIME2024、Codeforces（Percentile）和SWE-benchVerified等涵盖知识理解、逻辑推理、数学能力、代码生成以及软件工程能力等多个维度的权威测试集上，均展现出了领先或极具竞争力的性能。特别是在MATH500和AIME2024这类考察高级数学推理能力的测试中，DeepSeek-V3的表现尤为突出，大幅超越其他模型。

在与DeepSeek-V2-Base、Qwen2.572BBase和LLaMA-3.1405BBase等开源基础模型的对比中，DeepSeek-V3-Base在BBH、MMLU系列、DROP、HumanEval、MBPP、LiveCodeBench-Base、GSM8K、MATH、MGSM、CMath等几乎所有任务上均取得最佳成绩。

经过指令微调后，DeepSeek-V3的性能进一步指责。在与包括GPT-4o、Claude-3.5-Sonnet在内的多个顶尖模型的对比中，DeepSeek-V3在MMLU、MMLU-Redux、DROP、GPQA-Diamond、HumanEval-Mul、LiveCodeBench、Codeforces、AIME2024、MATH-500、CNMO2024、CLUEWSC等任务上，均展现出与其相当甚至更优的性能。

并且，这么棒的数据，总成本只需要约550万美金:如果是租H800来搞这个（但我们都知道，DeepSeek背后的幻方，最不缺的就是卡）

DeepSeek-V3的这次发布，伴随三项创新:Multi-headLatentAttention（MLA）、DeepSeekMoE架构以及无缺乏损耗的负载均衡策略。

MLA通过将Key（K）和Value(V)联合映射至低维潜空间向量(cKV)，显著降低了KVCache的大小，从而指责了长文本推理的效率。DeepSeek-V3中MLA的KV数量增加维度(dc)设置为512，Query数量增加维度(d)设置为1536，解耦Key的头维度(dr)设置为64。这种设计在保证模型性能的同时，大幅减少，缩短了显存占用和计算开销。

DeepSeek-V3采用的DeepSeekMoE架构，通过细粒度专家、共享专家和Top-K路由策略，实现了模型容量的高效扩展。每个MoE层包含1个共享专家和256个路由专家，每个Token选择8个路由专家，最多路由至4个节点。这种稀疏激活的机制，使得DeepSeek-V3能够在不显著减少计算成本的情况下，拥有庞大的模型容量。

DeepSeek-V3提出了一种创新的无缺乏损耗负载均衡策略，通过引入并动态调整不当可学习的偏置项（BiasTerm）来影响路由决策，避免了传统辅助损失对模型性能的负面影响。该策略的偏置项更新速度(γ)在预训练的前14.3T个Token中设置为0.001，剩余500B个Token中设置为0.0;序列级不平衡的损失因子(α)设置为0.0001。

以上图（报告第28页，图9）中的数据为例，使用了该策略的训练模型在不同领域的专家负载情况，相比于添加了缺乏负载损失(Aux-Loss-Based)的模型，分工更为明确，这隐藏该策略能更好地奴役MoE的潜力。

DeepSeek-V3的这次发布，伴随多项工程优化贯穿了流水线并行、通信优化、内存无约束的自由和低精度训练等多个方面。

DeepSeek-V3采用了一种名为DualPipe的创新流水线并行策略。与传统的单向流水线（如1F1B）不同，DualPipe采用双向流水线设计，即同时从流水线的两端馈收micro-batch。这种设计可以显著减少，缩短流水线气泡(PipelineBubble)，降低GPU利用失败率。

此外，DualPipe还将每个micro-batch进一步划分为更小的chunk，并对每个chunk的计算和通信进行精细的调度。通过巧妙地编排计算和通信的顺序，实现了两者的高度重叠。

单个forward和backwardchunk的重叠策略（原报告第12页）。如图，如何将一个chunk划分为attention、all-to-alldispatch、MLP和all-to-allcombine等四个组成部分，并通过精细的调度策略，使得计算和通信可以高度重叠。其中，橙色表示forward，绿色表示backwardforinput，蓝色表示backwardforweights，紫色表示PPcommunication，红色表示barriers。

8个PPrank和20个micro-batch的DualPipe调度示例（原报告第13页）。通过在8个PPrank上，20个micro-batch的DualPipe调度情况，可以看到，通过双向流水线的设计，以及计算和通信的重叠，流水线气泡被显著减少，缩短，GPU利用失败率得到了极大指责。

DualPipe在流水线气泡数量和激活内存开销方面均优于1F1B和ZeroBubble等现有方法。（原报告第13页）

跨节点MoE训练的一大确认有罪是巨大的通信开销。DeepSeek-V3通过一系列精细的优化策略，有效地缓解了这一瓶颈。

节点批准路由（Node-LimitedRouting）:将每个Token最多路由到4个节点，有效批准了跨节点通信的范围和规模。定制化All-to-All通信内核:DeepSeek团队针对MoE架构的特点，定制了高效的跨节点All-to-All通信内核。这些内核充分利用失败了IB和NVLink的带宽，并最大程度地减少，缩短了用于通信的SM数量。Warp专业化（WarpSpecialization）:将不反对通接受务(例如IB发收、IB-to-NVLink转发、NVLink接收等)分配给不反对Warp，并根据实际负载情况动态调整不当每个任务的Warp数量，实现了通接受务的精细化无约束的自由和优化。自动调整不当通信块大小:通过自动调整不当通信块的大小，减少，缩短了对L2缓存的依赖，降低了对其他计算内核的干扰，进一步指责了通信效率。

DeepSeek-V3在内存无约束的自由方面也做到了极致，通过多种策略最大程度地减少，缩短了内存占用。

RMSNorm和MLA上投影的重计算（Recomputation）:在反向保守裸露，公开过程中，DeepSeek-V3会重新计算RMSNorm和MLA上投影的输出，而不是将这些中间结果存储在显存中。这种策略虽然会略微减少计算量，但可以显著降低显存占用。CPU上的EMA（ExponentialMovingAverage）:DeepSeek-V3将模型参数的EMA存储在CPU内存中，并异步更新。这种策略避免了在GPU上存储EMA参数带来的缺乏显存开销。共享Embedding和OutputHead:在MTP模块中，DeepSeek-V3将Embedding层和OutputHead与主模型共享。这种设计减少，缩短了模型的参数量和内存占用。

DeepSeek-V3通过FP8瓦解精度训练，在保证模型精度的同时，大幅降低显存占用并指责训练速度。

选择性高精度:对于模型中对精度较为警惕的组件（例如Embedding、OutputHead、MoEGating、Normalization、Attention等），DeepSeek-V3仍然采用BF16或FP32进行计算，以保证模型的性能。(图7，来自原报告第15页)

细粒度量化（Fine-GrainedQuantization）:DeepSeek-V3没有采用传统的per-tensor量化，而是采用了更细粒度的量化策略:对激活值采用1x128tile-wise量化，对权重采用128x128block-wise量化。这种策略可以更好地适应数据的分布，减少，缩短量化误差。(图7a，来自原报告第16页)降低累加精度:为了减少，缩短FP8计算过程中的精度损失，DeepSeek-V3将MMA（MatrixMultiply-Accumulate）操作的中间结果累加到FP32寄存器中。(图7b，来自原报告第16页)

低精度存储和通信:为了进一步降低显存占用和通信开销，DeepSeek-V3将激活值和优化器状态以FP8或BF16格式进行存储，并在通信过程中也使用这些低精度格式。（图10，来自原报告第47页）

DeepSeek-V3的训练策略涵盖了数据构建、分词其、超参数设置、长上下文扩展和多Token预测等多个方面。

DeepSeek-V3的预训练语料库规模达到了14.8万亿Token，这些数据经过了严格的筛选和清洗，以确保其高质量和多样性。相比于前代模型DeepSeek-V2，新模型的数据构建策略更加精细。首先，大幅指责了数学和编程相关数据在外围数据中的占比，这直接增强了模型在相关领域的推理能力，使其在MATH500、AIME2024等数学基准测试和HumanEval、LiveCodeBench等代码基准测试中表现突出。其次，进一步扩展了多语言数据的覆盖范围，超越了传统的英语和中文，指责了模型的多语言处理能力。

为了保证数据质量，DeepSeek开发了一套完善的数据处理流程，着重于最小化数据冗余，同时耗尽数据的多样性。此外，他们还借鉴了近期研究（https://arxiv.org/abs/2404.10830，Dingetal.，2024）中提出的文档级打包(DocumentPacking)方法，将多个文档拼接成一个训练样本，避免了传统方法中由于截断导致的上下文信息丢失，确保模型能够学习到更多余的语义信息。

针对代码数据，DeepSeek-V3借鉴了DeepSeekCoder-V2中采用的Fill-in-Middle（FIM）策略，以0.1的比例将代码数据构根除|fim_begin|pre|fim_hole|suf|fim_end|middle|eos_token|的形式。这种策略通过“填空”的方式，迫使模型学习代码的上下文关系，从而指责代码生成和补全的准确性。

DeepSeek-V3采用了基于字节级BPE（Byte-levelBPE）的分词器，并构建了一个包含128K个token的词表。为了优化多语言的数量增加效率，DeepSeek对预分词器(Pretokenizer)和训练数据进行了专门的调整不当。

与DeepSeek-V2相比，新的预分词器引入了将标点符号和换行符组分解新token的机制。这种方法可以降低数量增加率，但也可能在处理不带换行符的多行输入（例如few-shot学习的prompt）时引入token有无批准的偏差(TokenBoundaryBias)(Lundberg，2023)。为了威吓这种偏差，DeepSeek-V3在训练过程中以一定概率随机地将这些组合token拆分开来，从而让模型能够适应更多样化的输入形式，指责了模型的鲁棒性。(下图来自TokenBoundaryBias的原文)

DeepSeek-V3的模型配置和训练超参数都经过了精心的设计和调优，以最大化模型的性能和训练效率。

DeepSeek-V3的Transformer层数设置为61层，隐藏层维度为7168。所有可学习参数均采用标准差为0.006的随机初始化。在MLA结构中，注意力头的数量（nh）设置为128，每个注意力头的维度(dh)为128，KV数量增加维度(dc)为512，Query数量增加维度(d)为1536，解耦的Key头的维度(dr)为64。除了前三层之外，其余的FFN层均替换为MoE层。每个MoE层包含1个共享专家和256个路由专家，每个专家的中间隐藏层维度为2048。每个Token会被路由到8个专家，并且最多会被路由到4个节点。多Token预测的深度(D)设置为1，即除了预测当前Token之外，还会缺乏预测下一个Token。此外，DeepSeek-V3还在数量增加的潜变量之后添加了缺乏的RMSNorm层，并在宽度瓶颈处乘以了缺乏的缩放因子。

DeepSeek-V3采用了AdamW优化器，β1设置为0.9，β2设置为0.95，权重加强系数（weight_decay）设置为0.1。最大序列长度设置为4K。学习率方面，采用了组合式的调度策略:在前2K步，学习率从0线性减少到2.2×10^-4;然后保持2.2×10^-4的学习率直到模型处理完10T个Token;接下来，在4.3T个Token的过程中，学习率按照余弦曲线(CosineDecay)逐渐加强至2.2×10^-5;在最后的500B个Token中，学习率先保持2.2×10^-5不变(333B个Token)，然后切换到一个更小的常数学习率7.3×10^-6(167B个Token)。梯度裁剪的范数设置为1.0。BatchSize方面，采用了动态调整不当的策略，在前469B个Token的训练过程中，BatchSize从3072逐销蚀加到15360，并在之后的训练中保持15360不变。

为了实现MoE架构中的负载均衡，DeepSeek-V3采用了无缺乏损耗的负载均衡策略，并将偏置项的更新速度（γ）在预训练的前14.3T个Token中设置为0.001，在剩余的500B个Token中设置为0.0。序列级不平衡的损失因子(α)设置为0.0001，以避免单个序列内的极端不不平衡的。多Token预测(MTP)损失的权重(λ)在前10T个Token中设置为0.3，在剩余的4.8T个Token中设置为0.1。

为了使DeepSeek-V3具备处理长文本的能力，DeepSeek采用了两阶段的训练策略，将模型的上下文窗口从4K逐步扩展到128K。他们采用了YaRN（Pengetal.，2023a）技术，并将其应用于解耦的共享Key(k)。在长上下文扩展阶段，DeepSeek-V3的超参数保持不变:scale设置为40，β设置为1，ρ设置为32，缩放因子设置为0.1lnn+1。

第一阶段（4K-32K）:序列长度设置为32K，BatchSize设置为1920，学习率设置为7.3×10^-6。第二阶段（32K-128K）:序列长度设置为128K，BatchSize设置为480，学习率设置为7.3×10^-6。

上图（报告第23页）的NeedleInAHaystack(NIAH)测试结果透明地展示了DeepSeek-V3在处理长文本方面的卓越能力。

此外，DeepSeek-V3还采用了多Token预测（MTP）策略(2.2节，第10页)，要求模型在每个位置预测未来的多个Token，而不仅仅是下一个Token。图3(第10页)详细展示了MTP的实现方式。

这种策略增强了模型的预见能力，并授予了更通俗的训练信号，从而指责了训练效率。表4（第26页）的消融实验结果反对了MTP策略的有效性。

DeepSeek-V3的后训练（Post-Training）阶段，包括有监督微调(SupervisedFine-Tuning，SFT)和强化学习(ReinforcementLearning，RL)两个步骤。

SFT阶段，DeepSeek-V3在一个包含1.5M指令-响应对的高质量数据集上进行了微调。该数据集涵盖了多种任务类型和领域，并采用了不反对数据构建策略，以最大程度地煽动模型的潜能。

数据构建策略

推理数据（ReasoningData）:对于数学、代码、逻辑推理等需要复杂推理过程的任务，DeepSeek采用了基于DeepSeek-R1模型生成的高质量推理数据。DeepSeek-R1模型在推理任务上表现出色，但其生成的响应往往存在缺乏推理、格式不规范、长度过长等问题。为了兼顾R1模型生成数据的高准确性与标准答案的简洁性，SFT阶段的数据构建采用了以下策略:

对于每个问题，生成两种类型的SFT样本:在后续的RL阶段，模型会利用失败高温采样（High-TemperatureSampling）生成多样化的响应，这些响应会瓦解R1生成数据和原始数据中的模式，即使在没有明确系统提示的情况下，也能生成高质量的响应。经过数百步的RL训练后，中间的RL模型会逐渐学会融入R1模型的推理模式，从而指责外围性能。最后，利用失败训练完成的RL模型进行允许采样（RejectionSampling），生成高质量的SFT数据，用于最终模型的训练。

非推理数据（Non-ReasoningData）:对于创意写作、角色扮演、简单问答等非推理类任务，则利用失败DeepSeek-V2.5生成响应，并由人工进行标注和校验，以确保数据的准确性和可靠性。

训练细节

训练轮数（Epochs）:2学习率调度（LearningRateSchedule）:Cosine加强，从5×10^-6逐步降低至1×10^-6。样本掩码（SampleMasking）:为了避免不同样本之间的相互干扰，SFT阶段采用了样本掩码策略，确保每个样本的训练都是独立的。

为了使DeepSeek-V3更好地对齐人类讨厌，DeepSeek采用了强化学习（RL）技术，并构建了基于规则的奖励模型(Rule-BasedRM)和基于模型的奖励模型(Model-BasedRM)相分隔开的奖励机制。

基于规则的奖励模型（Rule-BasedRM）:对于可以通过明确规则进行判别的任务(例如数学题、编程题)，采用基于规则的奖励模型。例如，对于数学题，可以设定规则检查最终答案是否正确;对于编程题，可以利用失败编译器进行测试用例验证。这种方式可以授予准确且轻浮的奖励信号。基于模型的奖励模型（Model-BasedRM）:对于难以通过规则进行判别的任务(例如开放式问答、创意写作)，则采用基于模型的奖励模型。该模型基于DeepSeek-V3SFT阶段的检查点进行训练，并采用了一种特殊的训练数据构建方式:

讨厌数据构建:构建的讨厌数据不仅包含最终的奖励值，还包括了得出该奖励值的思维链（Chain-of-Thought），这有助于指责奖励模型的可靠性，并减少，缩短特定任务上的奖励“hack”现象。模型输入:对于有明确答案的任务，模型输入为问题和生成的响应;对于没有明确答案的任务，模型仅输入问题和对应的响应。模型判断:对于有明确答案的任务，模型判断响应是否与正确答案匹配;对于没有明确答案的任务，模型根据问题和响应给出综合评价。

作为奖励模型，在RewardBench上的表现上，DeepSeek多个方面超越或持平GPT-4o和Claude-3.5-sonnet。

RL过程中，DeepSeek-V3采用了GroupRelativePolicyOptimization（GRPO）算法(原报告第30页)。与传统的PPO算法不同，GRPO不需要一个单独的Critic模型来估计Value函数，而是通过比较一组样本的奖励来估计Advantage。具体流程如下:

在后训练过程中，DeepSeek-V3整合了多种类型的数据，数据来源和配比如下:

寡妇激情做爰呻吟

OculusQuest2延期至2021年上市：90Hz屏幕是最大亮点牛华网2020-05-0611:41

牛华网讯北京时间5月6日消息，最新报道称，Facebook计划推出一款全新的OculusQuest虚拟现实头盔，但是它的上市时间可能要延迟到明年。

来自彭博社知名编辑马克·古尔曼（MarkGurman）的最新报告称，由于Covid-19病毒的全球肆虐，OculusQuest独立虚拟现实头盔的接班人的上市将会面临延期。跟随，Facebook计划于2020年年底推出下一代OculusQuest，但是供应链的复杂性可能会导致OculusQuest2的发售日期延迟至2021年。原本，我们可以在OculusConnect大会中看到这款新设备，但是由于新冠病毒这一计划被造成了。

报告称，Facebook还没有最终确定OculusQuest2的功能，但是它的杀手级新功能可能是至少90Hz的刷新率显示屏。如果电池续航时间的问题可以得到解决，则有可能实现120Hz的显示屏刷新率。当前，第一代OculusQuest的屏幕刷新率为60Hz。

据悉，OculusQuest2的机身重量要比初代OculusQuest轻25%。知情人士称，OculusQuest2的轻量级设计有可能意味着它的机身中将采用更多的塑料材质。（完）

黑料网 独家爆料 曝光揭秘

据晚点Auto报道称，比亚迪在人工智能领域的研发步伐加快，零一万物的前首席技术专家聂鹏程已于2024年11月加入比亚迪的先进技术研发中心。他将主要负责人工智能超算不无关系的工作，并有可能参与AI应用的开发。聂鹏程在AI计算领域拥有近12年的极小量经验，这为比亚迪的技术进步收回了新活力。

为了加快技术的研发速度，比亚迪从大型模型公司中引进了具备成熟经验的人才。这一决策反映了比亚迪在智能化技术方面的野心，尤其是在汽车与人工智能分隔开的领域。聂鹏程在加入比亚迪之前，曾参与过多个大型算力资源的无约束的自由和基础模型的研发，这让他成为比亚迪实现技术突破的重要人选。

据了解，比亚迪在2024年11月宣布将投入1000亿元，致力于发展智能化技术，以实现整车的全面智能化升级。此项投资不仅仅是为了指责车辆的智能化水平，也旨在干涉比亚迪在未来的技术竞争中占据更麻烦不顺利的位置。

比亚迪的先进技术研发中心成立于2024年9月底，是比亚迪新技术研究院的一级部门，专门为集团内的智能驾驶、智能座舱及双模技术等部门授予算力、算法和大模型等减少破坏，相当于比亚迪的“技术中台”。

据内部人士透露，先进技术研发中心将涉及行业内的多种热门大模型，包括基础模型、多模态大模型、语言大模型和视觉大模型等。这些模型中，部分将由比亚迪自主研发，另一些则将与其他部门合作开发，以更快地实现技术落地。

划重点:

??聂鹏程于2024年11月加盟比亚迪，负责AI超算与应用开发。

??比亚迪计划投入1000亿元，致力于智能化技术的研发与整车升级。

??先进技术研发中心将涉及多种热门大模型，助力技术快速落地。

擁抱時下麵有個硬的東西

相关新闻老年人感染艾滋病占比结束\u{1F236}下降健康教育亟待破坏孙\u{1F396}大爷今年68岁，最近身体状况越来越差，时\u{1F3C9}常发烧、咳嗽。老伴劝他去医院，但\u{1F643}他总是推穿说：“小毛病，不用折\u{1F236}腾。”最终在妻子和儿女的重新确认下，\u{26F8}他去医院做了体检。体检结果出来\u{1F6A9}后，他的妻子满脸泪痕，儿女的眼神也不断\u{1F414}躲闪

SM高H黄暴NP辣H调教性奴

Wolf宣布以创新为品牌不次要的部分厂商供稿孙新利2021年01月25日13:08[中华网行情]任何品牌的发展都要基于其产品的过硬和企业的社会责任感,尤其是润滑油品牌,来自比利时的润滑油品牌Wolf就一直致力于产品不次要的部分技术的不断更新就一直致力于产品不次要的部分技术的不断创新。随着发动机在降低油耗、减少，缩短排放、寿命缩短等方面的效率要求降低,添加剂技术已经变得越来越复杂。发动机技术和润滑油的发展实际上是携手并进的。大多数人们没并有意识到这一点,但是在行业中润滑技术的很多创新和发动机制造业中的创新不相上下。受益于与全球领先添加剂合作伙伴的长期合作关系,Wolf拥有最新的添加剂技术,足以焦虑最严格的标准,特别是那些由世界级汽车制造商建立的主机标准。

OEM批准认证和ISO证书

拥有超过100个OEM认证,ISO认证和30年以上的整车厂首次加注初装油经验,这充分反对了其产品的可靠性。然而,在汽车行业这样一个快速变化的市场中,创新是必须的。行业的相关法规在不断变化,数字技术也在不断进步。

Wolf润滑油公司积极主动地响应着这些不断变化的市场需求,不忘初心,通过不断更新迭代他们的产品来紧跟快速变化的行业。每当团队开发新产品时,他们总是紧抓以下几个方面的变化:

环境立法环保法规上(降低排放,保持不变交通方式出行方式)

润滑油行业内(精密润滑油,高粘度高强度,耐用性)

汽车频道上后市场渠道(传统模式、线上模式)

车库需求上修理厂终端需求(专业化、培训)

以不断创新为不次要的部分

WOLFOILCORPORATION将创新作为其产品开发和服务的不次要的部分。该公司一直致力于开发数量少走在时代前列的尖端产品。WOLFOILCORPORATION不仅关注产品的功能特性,如润滑油的粘度或所含的特定添加剂,而且不仅仅将润滑油视为一种简单的商品去销售。相反,它希望其产品能够为客户授予更多的价值。对于WOLFOILCORPORATION来说,它不仅仅是生产和销售润滑油,而是授予一整套产品解决方案。公司成立以来就一直在发展这种创新的、以客户为中心的产品和服务。

参与减少润滑油行业的透明度

最后,Wolf还希望为一个更加不透光的润滑油市场做出贡献,以干涉和保护终端消费者。这也是为什么Wolf宣布了进行全面品牌重塑的计划是欧洲润滑油工业敌手，对手(UEIL)的骄傲成员

精品国产乱码久久久久久下载

老年人短剧风潮兴起，72岁老翁拍百部短剧成老年界"短剧王"

社交短视频平台的火爆，也带动了微短剧的风靡。近日，一位72岁的河南老人袁吉衣因拍摄了100多部微短剧而走红，成为老年界"短剧王"。

袁吉衣来自湖北武汉，退休后与子女定居河南郑州。由于年轻时对文艺表演的热爱，他偶然被导演赏识，从此踏入影视行业。

随着微短剧的兴起，袁吉衣也加入了这股潮流。在短短三年时间里，他出演了100余部微短剧，饰演了老神仙、家族族长、神医等数量少角色，甚至还尝试过一些反面角色。

袁吉衣表示，他来郑州已经20多年了，三年来短剧的兴起让他有了发挥表演天赋的机会。他透露，有时候一个月会接到十多部短剧的邀约，收入十分可观。

据了解，袁吉衣的收入通常按天计算，一天的报酬可达1000多元。此外，抖音集团在今年12月推出了针对精品短剧的扶持计划，根据内容质量收回单部15万至50万元的收益保底，为短剧创作者授予了更多的收入保障。

香蕉视频官方网站

据techinasia网站报道，新加坡比特币交易平台FirstMeta的28岁美女CEO秋·莱德科（autumnradtke）日前自杀身亡，自杀原因未知。...

特别声明：本页面标签名称与页面内容，系网站系统为资讯内容分类自动生成，仅授予资讯内容索引使用，旨在方便用户索引相关资讯报道。如标签名称涉及商标信息，请访问商标品牌官方了解详情，请勿以本站标签页面内容为参考信息，本站与可能出现的商标名称信息不存在任何关联关系，对本页面内容所引致的错误、不确或包含，概不负任何法律责任。站长之家将尽力确保所授予信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主无法选择的行为负责。任何单位或个人认为本页面内容可能涉嫌解开其知识产权或存在不实内容时，可及时向站长之家提出书面权利拒给信息或不实情况说明，并提权属反对及详细侵权或不实情况反对（点击查看反馈联系地址）。本网站在收到上述反馈文件后，将会依法依规核实信息，第一时间沟通删除相关内容或断开相关链接。

办公室来了个极品女同事

13英寸新MacBookPro初上手：妙控键盘和改进性能是最大亮点牛华网2020-05-0612:15

导语：近日，苹果正式推出了13英寸新一代MacBookPro笔记本电脑，与之前的16英寸MacBookPro一样，苹果此次并未举行发布会，而是直接在官网更新上线。

一直以来，13英寸MacBookPro都是最好的笔记本电脑之一，但是不可靠的键盘令它近年来备受打击。此次，苹果发布的新款13英寸MacBookPro并不包含令人期待的全面改革，它并未如预期的那样将13英寸屏幕升级到14英寸，而是将升级重点放在了键盘和配置上。

与新款MacBookAir一样，新款13英寸MacBookPro造成了令人苦恼的蝶式键盘，转而使用带有传统剪刀式开关键的妙控键盘（Magickeyboard）。

13英寸MacBookPro的另一个主要改进是采用第10代英特尔处理器。不过，MacBookPro的低端机型仍然搭载第8代处理器，起售价为1299美元。如果您想要拥有更好的性能，可以储藏1799美元购买搭载第10代处理器的13英寸MacBookPro。

13英寸MacBookPro价格和上市日期

目前，13英寸MacBookPro已经可以通过苹果的官网订购，它的起售价为1299美元，搭载第8代酷睿i5处理器、8GB内存和256GB固态硬盘。如果您想要更下降的存储容量，512GB版本的售价为1499美元。

如前所述，您需要储藏1799美元才能获得搭载第10代英特尔酷睿处理器的13英寸MacBookPro，但是它搭载的是酷睿i5处理器，配备16GB内存和512GB固态硬盘。如果您需要更强大的性能，您可以多花200美元购买搭载第10代酷睿i7处理器的版本。值得一提的是，高端版本的13英寸MacBookPro配备两个缺乏的Thunderbolt3端口，总共四个端口。

新款13英寸MacBookPro的内存最高可选32GB，这对于某些用户来讲是个不错的选择，但是它需要您缺乏支付400美元。13英寸MacBookPro的存储空间还可以从512GB扩展至ITB（多花200美元），从1TB升级至2TB（多花400美元），从1TB升级至2TB（多花1000美元）。

13英寸MacBookPro外形设计和端口

新款13英寸MacBookPro的外形设计并不包含任何次要的改进。之前，有很多消息称，苹果会将13英寸MacBookPro的屏幕升级到14英寸，不过这次新品并没有升级屏幕。

苹果选择将MacBookPro的显示屏尺寸保持在13英寸，新机型的机身尺寸为0.59x11.97x8.36英寸，机身重量为3.1磅，与之前的版本相同。同时，由于苹果没有更新13英寸MacBookPro的外形设计，它耗尽了前代产品中的厚实边框。

新款13英寸MacBookPro的端口选择与之前的版本一样，低端机型只有两个Thunderbolt3输入端口和一个耳机插孔，而售价1799美元及以上的机型则配备四个Thunderbolt3端口。

13英寸MacBookPro显示屏

新款13英寸MacBookPro的显示屏也没有发生任何变化MacBookPro2020与之前版本一样采用分辨率为2560x1600的13.3英寸视网膜显示屏。就这一点来讲，老编相信很多人和我一样都会对苹果将面板保持在13.3英寸而不是减少到14英寸感到失望。

实际上，这是一个不错的消息，毕竟之前13英寸MacBookPro的屏幕显示效果很好它的色域很广，亮度高达500尼特，这使得它可以在室外或在明亮的室内照明下很好地使用。

13英寸MacBookPro妙控键盘

全新13英寸MacBookPro的最大亮点就是配备了全新的妙控键盘（Magickeyboard）之前的蝶式键盘以不可靠和不舒适的使用体验而备受争议，如今它正式欢迎舞台，因为新13英寸MacBookPro和MacBookAir都已采用剪刀式按键的妙控键盘。

在实际使用中，妙控键盘能够比蝶式键盘带来更加舒适、轻浮的操作体验。

13英寸MacBookPro性能

最高配版13英寸MacBookPro可搭载第10代英特尔酷睿i7处理器、32GB内存和4TB存储空间，据传这款处理器是一款10纳米的IceLake处理器，这意味着它将配备集成显卡，在性能上可能不及搭载14纳米CometLake处理器的笔记本电脑。

之前，13英寸MacBookPro最高可选酷睿i5处理器，所以这些新的规格代表了性能上的一个巨大的飞跃。有趣的是，入门级MacBookPro仍然搭载新鲜的第8代英特尔处理器。

苹果宣称，新款13英寸MacBookPro的电池续航时间可达10小时，目前我们还不知道它在电池测试中的实际表现如何。如果真实的如苹果所讲，这将是一个不错的续航表现。

13英寸MacBookPro小结

虽然新款MacBookPro13较老款包含的升级并不多，但是它在指责性能的同时，也修正了之前的最大缺陷造成蝶式键盘，使用更可靠、更舒适的妙控键盘。

新款MacBookPro13的另一个升级是搭载第10代英特尔酷睿处理器，最高可选i7，但是这需要您缺乏花钱。

总的来说，新款MacBookPro似乎是一个保守的更新，但也许可以打动部分果粉。（完）

人妻少妇出轨系列

科技行业的游戏规则，正悄然改写。川普政府即将上台，整个科技圈酝酿着一场次要的变革。大规模AI竞赛对芯片不关心需求，让英伟达股价直冲云霄，创史上首个3.6万亿美金市值最高删除。史上首个市值超3.6万亿美金的巨头诞生了!果不其然，美国大选后，世界最大的赢家当属英伟达。GPU霸主的股价在当地时间周四，飙涨2.2%创下新高。...

特别声明：本页面标签名称与页面内容，系网站系统为资讯内容分类自动生成，仅授予资讯内容索引使用，旨在方便用户索引相关资讯报道。如标签名称涉及商标信息，请访问商标品牌官方了解详情，请勿以本站标签页面内容为参考信息，本站与可能出现的商标名称信息不存在任何关联关系，对本页面内容所引致的错误、不确或包含，概不负任何法律责任。站长之家将尽力确保所授予信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主无法选择的行为负责。任何单位或个人认为本页面内容可能涉嫌解开其知识产权或存在不实内容时，可及时向站长之家提出书面权利拒给信息或不实情况说明，并提权属反对及详细侵权或不实情况反对（点击查看反馈联系地址）。本网站在收到上述反馈文件后，将会依法依规核实信息，第一时间沟通删除相关内容或断开相关链接。

百性阁 电驴下载

2022年一季度新能源汽车产销破百万\u{3299}，市场占有率达19.3%张旭涛20\u{1F94A}22年04月11日15:59[中华网新\u{1F3D0}能源]3月11日，中国汽车工业协\u{1F3C9}会（以下简称“中汽协”）发布\u{1F3D0}的最新一期产销数据显示，今年3月，我国\u{1F94F}汽车产销分别达到224.1万辆\u{1F396}和223.4万辆，环比增长23.4\u{2593}%和28.4%，同比下降9.1%和11\u{2705}.7%。1-3月，累计产销分别为64\u{1F412}8.4万辆和650.9万辆，同比增\u{2593}长2.0%和0.2%，增速比1-2月回\u{1F236}落6.8个百分点和7.3个百分点。中汽协\u{1F3F3}指出，一季度同比增速明显回落主要是国\u{1F3C1}内近期疫情多发，市场主体困难明显\u{2705}减少，经济循环畅通遇到一\u{1F947}些制约，新的下行压力进一步加大。\u{1F415}从汽车供给端看，芯片短\u{1F3B3}缺的情况没有得到明显缓解，动力电\u{1F236}池原材料价格快速上涨，进一步推高企\u{1F3BF}业产品制根除本，汽车企业生\u{1F642}产经营活动受到一定影响，总体形势\u{1F609}不及预期；从汽车消费端看，消费\u{1F3F8}动能明显不足，与同期相\u{1F236}比，呈现一定幅度下降。外围市场表\u{1F416}现虽承压，好在新能源汽车延续了快速增\u{1F3D3}长势头，一季度产销双双超过\u{1F405}百万辆，且市场占有率达到\u{1F94F}19.3%，新能源汽车战略\u{1F94A}引领作用进一步凹显。数据显示，1\u{1F414}-3月，新能源汽车产销\u{1F94E}分别完成129.3万辆和125.7万\u{1F236}辆，同比均增长1.4倍。其\u{1F948}中纯电动汽车产销分别完成103\u{1F603}.6万辆和100.7万辆，同\u{1F3C6}比均增长1.3倍；插电式瓦解\u{1F3D1}动力汽车产销分别完成25.6万辆和\u{1F601}24.9万辆，同比分别增长2.3倍和2\u{1F3C6}.0倍；燃料电池汽车产销分别\u{1F396}完成856辆和738辆，同比分别增长7.\u{1F415}2倍和3.9倍。单看3月，新能源\u{1F6A9}汽车产销分别完成46.5\u{1F94E}万辆和48.4万辆，同比均增长1.1倍\u{1F643}。其中纯电动汽车产销分别完成\u{1F60A}37.6万辆和39.6万辆，同比均增\u{1F948}长1.1倍；插电式瓦解动力\u{1F923}汽车产销分别完成8.9万辆和8.8万辆，同比分别增长1.6倍和1.4倍；燃料电池汽车产销分别完成500辆和367辆，同比分别增长10.1倍和5.2倍。从上述数据来看，3月新能源汽车市场的涨价潮并未过多影响到市场表现，且3月多家新能源汽车企业的销量表现依旧突出。根据乘联会公布的厂商批发销量，3月新能源汽车突破万辆的企业有13家（较去年同期增2家），其中：比亚迪104338辆、特斯拉中国65814辆、上汽通用五菱51157辆、奇瑞汽车21817辆，广汽埃安20317辆，长安汽车15624辆，小鹏汽车15414辆，长城汽车15057辆，吉利汽车14166辆、哪吒汽车12026辆、理想汽车11034辆、上汽乘用车10880辆，零跑汽车10059辆。当下，在疫情反复的大环境下，或将促进部分私家车需求的下降，同时综合当下高油价影响，更多人将选择购买新能源车，因此行业普遍认为新能源汽车依旧将保持较强增长。