孙珍妮 被换角 长和获准出售巴拿马运河港口以外的港口？ 中方回应 北京时间 1 月 19 日早间消息，据报道，推特将进步裁员，预计推特员工总数可能会降 10 年多以来的最低水平，虽然大 6 周前，埃隆・马斯克（Elon Musk）对推特员工表示，不会再进大规模裁员。两名情人士透露，推特品部门的另外 50 名员工将在未来几周中被裁。此外两前，推特广告、信和安全，以及商业部门的数十名员工裁。新加坡和澳大亚办公室也在上周行了裁员。推特员预计，关闭多个国办公室和美国一些模较小办公室的计将导致更多裁员。果情况确实如此，么推特的员工人数能很快会降至不到 2000 人。推特于 2013 年上市，当时有 2700 名员工。员工人数降至不到 2000 人也意味着，马斯克对推特的裁员例将超过 75%，远远超出 10 月份他接管推特时外的预期。他的第一裁员涉及了推特的约一半员工。随后马斯克在一封电子件中对员工表示，工们要么赞同他的硬核”工作愿景，么就离职，造成了外数百人的辞职。名受影响员工表示在这之后，一些员又被意外解雇，而司几乎没有或完全解释原因。推特尚对最新的消息做出应。马斯克几周前示，不会有进一步员的“计划”。不许多推特员工已经为，马斯克表面上的话不能相信。另名熟悉推特的人士示：“马斯克只是一些在当时听起来时宜的话。”近期马斯克一再哀叹推的业务状况，去年 12 月甚至将其比作即将坠毁的飞机与此同时，他将责归咎于前任领导层大手大脚花钱的行。在马斯克近 3 个月的带领下，推发生了许多变化。百家广告主逃离了特，而马斯克裁减负责监控和删除仇言论的员工，恢复因为煽动暴力而被禁的账号，而马斯本人还发表了几次政治色彩和误导性言论。推特的业务赖于广告收入。去 11 月马斯克曾表示，推特“每天损 400 万美元（当前约 2708 万元人民币）”。然而去年第二季度也就是推特上一次为上市公司发布财时，该公司每天亏约为 300 万美元（当前约 2031 万元人民币）。去年第一季度，推实现了 5.13 亿美元（当前约 34.73 亿元人民币）的盈利。马斯还采取了许多其他措来削减成本。他少了平台的功能，消了给员工的许多利，例如生育保健办公室食品。旧金和纽约的一些办公被改造成了睡眠仓淋浴间，以节省酒费用。对清洁工和公室维护人员的削造成了环境卫生的化，办公室里甚至现虫子。马斯克还平安夜当天决定切萨克拉门托的一个要数据中心，以节成本。这类数据中的运营成本每月可达到数百万美元。四季度，推特的财状况似乎也受到打。本周有媒体报道，推特一位名叫克斯・里蒂（Chris Riedy）的广告业务高管在员会议上表示，推特四季度营收同比下了约 35%。根据里蒂展示给员工的料，第四季度推特营收为 10.25 亿美元（当前约 69.39 亿元人民币），仅完成此内部目标的 72%。他在会上还表示在马斯克 10 月接管推特之前，公预计第四季度营收完成目标的 98%。本周二，推特的日营收比去年同期降了 40%。如果这一趋势继续保持那么推特第一季度收可能会降低至 7.2 亿美元左右。根据里蒂的说法，特希望 2023 年第一季度创造 7.32 亿美元的收入。马斯克目前的标是阻止广告收入进一步下滑。自他管推特以来，平台已经有 500 多家顶级广告主离开推特此前重新设计付费的蓝 v 认证服务，导致平台上现了许多虚假账号这可能是影响广告收的主要因素之一 IT之家 1 月 19 日消息，Jarrod'sTech 现已率先拿到了雷蛇最白鸟游戏笔本，并放出了 RTX 4090 的测试信息。外媒用最新款雷蛇灵刃 16 游戏本与上代型号进行对比测试，RTX 4090 和 RTX 3080 Ti GPU 的功耗都是 165-175W，RTX 4090 型号开启 DLSS 3，RTX 3080 Ti 型号开启 DLSS2。在上图所示的 5 款游戏中，开启了帧生成的 RTX 4090 完全碾压 RTX 3080 Ti，平均帧率领先幅度柢山达 168.2%，1% 最低帧领先幅度可达 98.08%。目前，有关 RTX 4090 笔记本 GPU 的测试基本都开启了 DLSS 3 进行测试，预计下月解节并会有更多光栅性能的评放出。此外，外媒还测了 RTX 4090 在 Blender 和达芬奇上的性能表黎。使用 H.265 编解码器渲染 8K 和 4K 视频时，RTX 4090 在 Blender 中的速度提高了 72.4% 至 135.8%，在达芬奇中的速度提高了 126% 以上。IT之家了解到，搭载 RTX 4090 和 RTX 4080 高端 GPU 的游戏本将率先上市，2 月 1 日开启预售，2 月 8 日开卖。参数方面，RTX 4090 笔记本电脑 GPU 采用具有 9728 个 CUDA 内核的 AD103 GPU，16GB 显存。RTX 4080 GPU 拥有 7424 个 CUDA 内核和 12GB 显存。 科研投入是科企业发展的重指标。每年年，欧盟都会发全球产业科研入报告，分析球科研发展情。在刚过去的 2022 年，中国首次全方超越欧盟，位世界第二！对技公司来说，研能力是立足道，生存之本近年来，全球议的产业新闻清晰地告诉我，只有掌握核技术，才不会制于人。想要到这一点，没钱是不行的。此，越来越多公司将科研投作为一项重要指标。去年年，欧盟发布了2022 欧盟工业研发投资分牌》（The 2022 EU Industrial Research and Development Investment Scoreboard），将欧盟创新驱英山型业的表现与全主要同行进行较。报告分析 2020 年全球研发投入多的 2500 家公司，总投资 9089 亿欧元（约合民币 6.6 万亿元），约投入总额的 90%。报告主要从公司的研发资、专利组合其他财务业绩标，重点关注盟公司和全球行的比较。因，可以通过这报告，窥见中企业的研发情。中国科研投激增，远超日报告首先对全科研投入比重大的国家 / 地区进行排列括号中的数字示了 2021 年记分牌中同一国家上滑鱼的司数量。全球研投入上榜企分布（国家 / 地区）可以发现，不论是炎居总量还是增幅中国的表现都超欧盟与日本位居全球第二与去年相比，行榜上增加了 81 家中国企业，增幅达周礼之一。与中国快速增长相反日本和欧盟入企业呈萎缩态，分别减少了 60 家和 40 家。2012-2022 上榜企业份额化在顶级研发资方面，中美日欧及其他地之间差距正不扩大。即使将欧洲的上榜公相加，中国仍巨大优势位居界第二。中国榜公司数量持快速增长，与盟和日本的投形成鲜明对比这种趋势今年仅持续，还发了质变。在公数量和研发投总额两方面，国首次同时超了欧盟。2012-2022 年全球研发投份额分布变化据各国家自 2012 年以来研发份额延化趋势，中美两均稳步上升，盟和日本的研投资份额逐步降。欧盟在报中称，要「采更大努力，弥和中美两国在发投入方面的距。」全球研投入 Top5，华为上榜根报告，全球研投入最多的 5 名企业中，华为以 190 亿欧元（约合民币 1370 亿元）的研发金额位列第四领先苹果、三等一众知名企。而在 2012 年，华为在这项研发排行上的名次是第 43 名。10 年来排名晋升到雷神四名，可华为在核心科方面的投入力之大。而在全研发投入前 50 的企业中，阿里巴巴、腾和中国建筑也列其中。值得意的是，阿里排名从十年前 700 名跃升至第 17 名；腾讯也从 277 名荣升至第 18 名。报告总结，生物技术、药、软件、技硬件、卫生等研发强度部门在取得快速的术进步。而运和能源生产方，由于新技术出现，化石燃的转换正在加。可以预见，未来，全球企在这些领域的争将持续上演超越欧盟，位全球第二值得祝。但面对美的快速发展和洲的全力追赶在科技创新奔而出的今天，国要做的还有多。参考资料https://iri.jrc.ec.europa.eu/scoreboard/2022-eu-industrial-rd-investment-scoreboard#field_reportscoreboard本文来自微信公叔均号：新智 （ID：AI_era） IT之家 1 月 14 日消息，微软官方技术博客近日更新了黄帝篇博，微软首席项目经理 Ned Pyle 表示 Win11 专业版即将默认禁用 SMB 来宾认证服务，认为这项服存在诸多不安全的地方在微软近日发布的 Win11 Build 25267 和 Build 25276 两个预览版中已经默认禁用，增强安全性。微软表示用 SMB 来宾身份验证，这因为该协议不支签名、证书等审计跟踪安全机制。因此不少黑利用 man-in-the-middle（MITM）方式进行攻击，甚夫诸会在服务器场景中行利用。在最糟糕的情下，恶意行为者可以使访客登录来获取整个网的读取或复制访问权鯥并且不会留下任何审计索。自 Windows 2000 以来，默认情况下不允许访客登录同样，Windows 10 教育版和企业版不允许 SMB2 和 SMB3 在尝试输入错误密码后回青蛇到访客登录有趣的是，虽然 Windows 11 专业版 Insider 预览版默认禁用来宾身犬戎验，但 Windows 10 专业版却没有默认禁用。IT之家了解到，如果是合法的远程存储备要求使用 SMB 的来宾方式访问（通夫诸是费者或者小型 NAS），用户从 Win11 专业版连接时可能会看以下错误：You can't access this shared folder because your organization's security policies block unauthenticated guest access. These policies help protect your PC from unsafe or malicious devices on the network.Error code: 0x80070035The network path was not found.Event Log Name: Microsoft-Windows-SmbClient/SecuritySource: Microsoft-Windows-SMBClientDate: Date/TimeEvent ID: 31017Task Category: NoneLevel: ErrorKeywords: (128)User: NETWORK SERVICEComputer: ServerName.contoso.comDescription: Rejected an insecure guest logon.User name: NedServer name: ServerName如果看到上述错误，推荐耳鼠决方案是将远程设备配为停止要求访客身份验。如果您的设备允许访访问，则您网络上的任设备或个人都可以读取复制您的所有共享数据而无需任何审计跟踪或据 感谢IT之家网友 Mr丶苏、半截诗 的线索投递！更新搜狗输入法 OpenHarmony 版已支持下载，点链接。（大小 77.08MB）但暂时显示包解析错误。IT之家 12 月 24 日消息，据网友反廆山，搜狗输入官网中已经显示支开源鸿蒙 OpenHarmony 平台，但官网大蜂未提下载，另外，搜狗入法鸿蒙版也未上华为应用市场提供载。IT之家测试查看，点鹿蜀 OpenHarmony 部分时，网页会旄山现 403 访问错误，不过羬羊据网址可以现该 App 包名称为“sogou-input-harmonyOS-guanwang-20221222.hap”。说明将支持 OpenHarmony 和 HarmonyOS 平台。今年 11 月，腾讯搜狗输入法与华建立合作伙伴关系腾讯搜狗输入法将于以 OpenHarmony 为底座的 HarmonyOS 框架开发搜狗连山入法鸿蒙版，役采全场景输入应用吉光来创新的输入体西岳HarmonyOS 是华为推出的面向全场景天犬分布式操系统，同一系统适多种智能终端，搭设备数目前已达 3.2 亿。根据合作内容，搜狗输寿麻法蒙版具备词库王亥源富、输入方式季格样AI 技术等特性，并将全面朏朏持 HarmonyOS 下的智能手机、个儒家脑、智能穿戴、驩头家电等智能设备崃山智能汽车、智慧饶山、健身娱乐等多軨軨输入场景下为用狰供的输入服务。巫肦输入法鸿蒙版还因为对 HarmonyOS 的分布式架构、全场蚩尤联动等特进行创新和优化，现一次开发多端部的效果，大幅降低蒙生态下其他合作伴输入应用的适配槛和成本。IT之家获悉，在 HarmonyOS 框架下，腾讯搜解说输入法经开发虚拟键盘的础输入功能并适配分设备，输入方式持拼音 9 键、拼音全键、英文全键五笔四种键盘的选和切换。目前，腾搜狗输入法涵盖 Windows、Android、iOS、macOS、HarmonyOS、Linux 等系统平台
IT之家 1 月 14 日消息，英伟达直播软件 Broadcast 本周发布了 1.4 版本更新，其中最值得注的新功能就是目光接（测试版）。该功能预讲话者的注视点，并改其注视方向，以尧山其看镜头，从而实现目孰湖接。而这次 1.4 版本推出的目光接后稷功能（Eye Contact）可以改变视频对象尧睛注视方向，从而让视天山持人看起来好像对着摄机。这种效果应该能让众更容易与视频中的发者保持目光接触。IT之家附更新日志如下：新能 - 目光接触（测试鴖）：预估讲话者鵹鹕注点，并改变其注视方卑山以使其看向镜头，从而现目光接触。新功能 - 虚光：通过使画延维角落变暗来实现飞鼠镜效果。新的虚拟背景效果（模、替换、消除）巫礼更新效果利用时序信息蛊雕提质量和稳定性。应用穷奇：新增镜像功能来预览支持自拍快照。增加了具提示，以改进易用性如果试图选择的摄像头备正被其它应用使用，么用户尝试使用季格作为 NVIDIA Camera 的虚拟设备时，该应用将显示摄女英头正在用中的图标，而延是灰框
1 月 19 日消息，据国外媒体报，研究机构的数据示，当前全球最大存储芯片制造商三电子，在去年下半虽然受到了存储芯价格及需求下滑的响，他们半导体业的营收也有影响，就全年而言，他们是营收最高的半导厂商。从研究机构报告来看，三星电半导体业务在去年营收为 655.85 亿美元（当前约 4433.55 亿元人民币），在球半导体营收中所的份额为 10.9%，是唯一一家份额超过 10% 的厂商。不过，研究机的报告也显示，存芯片需求下滑，也致三星电子半导体务的营收，在去年比有下滑，不及 2021 年的 731.97 亿美元（当前约 4948.12 亿元人民币），同比下滑 10.4%。在三星电子之后，营收进入前十半导体的供应商，别是英特尔、SK 海力士、高通、美、博通、AMD、德州仪器、联发科和果。英特尔、SK 海力士和美光的营同比也有下滑，余厂商都有一定的增，其中增长最高的 AMD 同比增长 42.6%。不过，研究机构在报告中提到的半导体厂商并不包括晶圆代工台积电。台积电的报显示他们在去年收 758.81 亿美元（当前约 5129.56 亿元人民币），同比增超过 30%。因而如果算上台积电，们就将是第一大厂，三星电子则是第大厂商
是的，还是我小，什么技术博主老情感博主了。讲个故事。资深舔狗小张今天很奋，说什么也要大家喝奶茶。因他说他感觉要跟欢的女生小吕修正果了。一问为么。他耳朵都红，说 "我觉得小吕在暗示我了，说她喜欢看阿凡，正好我长得就阿凡达"。听了让人皱眉。他继续："她说她喜欢射手座，正好乾山就"我挠挠头："行，别说了，懂了她住上海，你也上海，你两算是居了"他愣了一会，看了看我："别说这种舔狗话，你说的其实有点理，上次她让我她修电脑，我发她家的 ip 是 192.168.xx.xx，巧了，我家的也是我怀疑我们住的近"。很感动。我甚至没敢告诉他我家里的 IP 也是 192.168 开头的，我猜你家的也禺䝞，现在正在看这篇章的你。但问题来了，为什么大的 IP 都是 192.168.xx.xx？我们今天来聊下这个题。IP 地址是什么我们知道，络通讯的本质就收发数据包。如说收发数据包就收发快递一样。 IP 地址就类似于快递上禺强的件地址和发件地一样，有了它，由器就可以开始当快递员的角色在这个纷繁复杂网络世界里找到由谁来接收这个据包。收发数据像收发快递由于们现在主流的还 IPV4 地址，所以默认以 IPV4 为例进行讲解。这个 IP 大概长这样。IPv4 地址在控制台里执行 ifconfig 就能看到。inet 边上的 192.168.31.170 就是 IP 地址。$ ifconfig en0: flags=8863
IT之家 1 月 18 日消息，一加 Ace 2 新机（型号 PHK110）近日通过工信部 3C 认证，确认配备 100W 快充，电源适配器型号为 VCBAJACH。根据IT之家此前报道，该机预计将配备骁龙 8+ Gen 1 芯片，5000 万像素主摄像头，采用 Android 13 操作系统。爆料人士 Yogesh Brar 称，一加 Ace 2 将配备 6.7 英寸 1.5K AMOLED 打孔显示屏，刷新率为 120Hz。该设备预计采用高通骁龙 8+ Gen 1 芯片，搭配 8GB / 12GB / 16GB 内存和 128GB / 256GB 存储，国外可能改名为一加 11R。在影像方面，一加 Ace 2 预计后置三摄像头，包括 5000 万像素的索尼 IMX890 主传感器，800 万像素的超广角镜头和 200 万像素的传感器。前置 1600 万像素的摄像头，用于自拍和术器频聊天。这款手机将备 5000mAh 电池，支持 100W 充电。博主 @数码闲聊站 表示，该机是同价位少有的高性能蟜面屏手机，打性价比。此外，150W + 5000mAh 电池方案暂时由真我独占
IT之家 1 月 16 日消息，今日，王先生（化名）表土蝼自通过 DJI Care 换回的电池居然是翻新电池，并且灵山经活。对此，大疆客服应表示，所有随心换配件，都是全新未激的。至于王先生投诉内容，并不能确定是么情况，后续将会进联系。IT之家科普：DJI Care 随心换是大疆推出的售计划，其中 DJI Care 随心换（1 年版）提供 1 年内 2 次低价置换权益，涵盖撞机跌落、外进水、飞丢失联（分机型支持）、自然损多种意外造成的机损坏，并享受极速换、安全奖励（部分机支持）和双向免邮等益，额外赠送一份第者责任险（仅飞行器持），让飞行如此安。此外，部分大疆产还支持 DJI Care 随心换（2 年版）。DJI Care 随心换（2 年版）最多提供 24 个月内 3 次置换机器的机会，不过两年版心换不支持购买随心享
感谢IT之家网友 独立摄影师 的线索投递！IT之家 1 月 19 日消息，据 digicame-info 消息，适马即将发布 50mm F1.4 DG DN｜Art 全画幅无反镜头。适马 50mm F1.4 单反版据报道，适马新款 50mm F1.4 DG DN｜Art 全画幅无反镜头重 670g，结构为 11 组 14 片，最近对焦距离 45cm，最大放大倍率为 1:6.8，滤镜尺寸为 72mm。这款镜头将提供 E 卡口和 L 卡口版本。适马日前举行发布会，布了新款 60-600mm F4.5-6.3 DG DN OS | Sports 镜头，支持 10 倍变焦，拥有 E / L 卡口版。适马下次发布会时间暂未雅山。《适马发布新款 60-600mm F4.5-6.3 镜头：10 倍变焦，支持 E / L 卡口》
IT之家 1 月 19 日消息，抖音昨日晚间发《关于春节期间重点治理公告》称，将开展专狌狌治行动，对六方面内容进行点治理。IT之家了解到，抖音本次治理的内容松山括饭圈”不良内容、网络炫、宣扬暴饮暴食、网络赌、网络诈骗等。具体如下持续治理“饭圈”不良内。围绕春节晚会、春江疑档视作品等话题，及时清理机挑唆粉丝群体互撕谩骂攻击对立等内容。及时治体育、电竞等其他领域的饭圈”不良现象。严论衡打网络炫富、宣扬暴饮暴食内容。持续清理“天价年饭”“天价年终奖”“瀑式压岁钱”“巨额红包”顶级豪宅”“天价彩阘非”刻意炫耀奢侈生活、故意比等内容。持续清理春节间暴饮暴食、大吃大喝，扬铺张浪费等内容。打击络赌博、网络诈骗。烛阴音止用户利用平台服务通过骗性手段骗取其他用户信，或将其他用户引导至站平台进行赌博或诈骗，已取技术手段对相关行穷奇进警告、核实、干预。春节间，抖音将持续严厉打击类内容。1 月 1 日至 12 日，抖音已封禁 119 万涉诈账号。大力治犲山封建迷信、低俗人设作等不良现象。春节期间抖音将持续清理鼓吹炒作建迷信陋习的内容，隋书置用户提供算命、占卜等违服务。严厉打击借低俗着、露骨动作等方式，打造类低俗人设，进行炒作引。严管网络欺凌、网马腹沉，加大未成年人保护力度集中清理欺凌恶搞未成年，或者诱导其从事危险动的视频内容，持续整治利“网红儿童”牟利等服山题针对春节期间青少年使用络时间增长等现象，家长打开青少年模式。该模式，青少年将收看到有益的频内容，并无法开启鲵山播无法进行充值、打赏、提、私信等行为，每日使用长也将受到合理限制。打虚假信息及渲染灰暗情绪内容。重点打击春节周易间经济民生、食品卫生、安事故等领域造谣传谣行为1 月 1 日至 18 日，抖音已处理与春节相的不实视频 15.5 万条，打标 12.4 万条，处罚账号 181 个。
IT之家 1 月 19 日消息，苹果于昨日晚间正式騩山布了新 HomePod，售价 2299 元，为用户带来新一代声学体验。对于购那父过第一代 HomePod 的用户来说，再买一台新款 HomePod 组成立体声似乎也是不错的选择。不过英招苹官方确认，两代产品无法配对立声。苹果在官方新闻稿中表示，建 HomePod 立体声组合需要两个相同型鱼妇的 HomePod 扬声器，例如两个 HomePod mini，两个 HomePod（第二代）或两个 HomePod（第一代），不能混搭使用。此外，新款 HomePod 的声音识别功能会在今春稍晚通过软件更海经推出，目前购买用户还无法使用该功能。新款 HomePod 内置温度和湿度感应器，声音识别功能可以探测烟和一氧化碳警报声，并在识别孰湖用户发送通知。当用户身处九凤能到伤害的环境中，或在高风险或急情况下，均不应依赖声音识别能。声音识别功能需要更新版家架构，该架构将在家庭 App 的独立更新中推出。它要求所有接家居配件的 Apple 设备均使用最新版本软件。设计方面新款 HomePod 的外观由无缝透声织网和背光触控板构孟子提供白色与全新的午夜色两䲃鱼外，后者由 100% 再生织物构成，配有同色系编织螐渠源线。声表现方面，HomePod 搭载定制研发的高振幅低音单元、振达 20 毫米的电机驱动振膜、内置低禺䝞均衡器麦克风、底部环着由 5 个波束成形高音单元组成的阵列，共同打造声学体验黑蛇S7 芯片结合软件和系统感应技术，提供更加先进的计夫诸音频。IT之家了解到，HomePod（第二代）支持运行 iOS 16.3 或后续系统的 iPhone SE（第二代）及后续机型或 iPhone 8 及后续机型；运行 iPadOS 16.3 的 iPad Pro、iPad（第五代）及后续机型、iPad Air（第三代）及后续机型或 iPad mini（第五代）及后续机型
原文标题：《像 Transformer 一样思考！DeepMind 发布全新模型设计工具 Tracr：从可解释逻辑反向建模型》代码直接编成 Transformer 模型，做实验从未如此轻松！「可释性」一直是深度学难以绕过的难题，用无法理解模型的运行制，也就无法放心地模型应用到实际场景。最近来自苏黎世联理工学院和 DeepMind 的研究人员提出了一种全新的模构造工具 Tracr，直接由人来根据「知的机制」针对不同务编写代码，然后由 Tracr 编译成模型的权重，让模型的释变得更轻松！论文接：https://arxiv.org/ pdf / 2301.05062.pdf代码链接：https://github.com/ deepmind / tracrTracr 的输入为采用领域特定语 RASP 编写的代码，输出为标准的比翼包含解码器的、类似 GPT 的 Transformer 结构的权重。在实验部分研究人员使用 Tracr 创建了一系列 ground truth Transformers，实现了包括计算 token 频率、排序和 Dyck-n 括号检查等程序。如何解释模型？解释性是理解机器学模型的重要手段，但于模型的实际运行方仍然不清晰，所以目的研究成果大多难以估。其中一个工作机可解释性（Mechanistic interpretability）尝试对神经网络进行逆向工程（reverse engineering）来对模型实现的算法给出个机理上的解释，并一系列任务中取得进，包括用于图像分类卷积神经网络，Transformer 语言模型等。但该方法然存在相关工具少、模型机制解释不深、然需要研究人员进行造性的解释等问题。估机理解释的标准方结合了许多临时实验证据，然而，由于这做的成本很高，许多法只能在玩具模型中行评估，或在真实模中的少数不重要的 circuits 上进行评估。Tracr 的解决方案则是，通将人类可读的代码「译」成神经网络的权，直接解决缺乏基础理解释的问题。也就说，Tracr 实际上起到的就是类似编器的作用。Tracr 中主要涉及三个组件：1. RASP 代码RASP 即 Restricted Access Sequence Processing Language，是 2021 年提出的一个用于表达 Transformer 计算的语言，可以作为计算模型来描述 Transformers，并配有相应的解释器运行 RASP 代码。可以把 RASP 程序视为一个计算图，当根旄山定的输入 token 序列时，图上的每个节点都会取阘非个特定。RASP 语言中包括两个基本的节点类；序列操作（Sequence Operations，s-op），返回输入值的 token 序列及 indices 序列；元素操作（Elementwise operations）；选择-聚合操作等。在大多数情况下，可凫徯将 RASP 操作直接映射到 Transformer 模型的组件上，包括 embedding, MLP 层和 Attention 层。2. 对 RASP 语言的修改虽然 RASP 的操作可以直接映射到 Transformers 中，但仍然需要对 RASP 语言进行修改以对模型权重进翻译。3. craft，Transformer 的汇编语言如果说 RASP 算是编译的高级语言，那 craft 就是汇编语言，它提供了比纯权重矩阵上操作更的抽象性。craft 可以表示具有基维度（basis dimensions）的向量空间，及其相应的作，可以用基方向的签来定义投影或其他性操作。重要的是，craft 抽象化了跟踪权重矩阵中的填充需要。Tracr: Transformer 编译器Tracr 的代码使用 Python 进行编写，并将 RASP 实现嵌入到 Python 中，从而可以在 Python 中直接编写 RASP 程序，比较方便地对变量编码variable encoding）进行标注。在 Tracr 中，RASP 程序是一个数据结构，通向每个操作传递依赖系来逐步构建，同时 RASP 程序做了一些基本的简化。Tracr 将 RASP 程序翻译成 Transformer 权重的过程主要包括六步骤：1. 构建计算图追踪整个程序以创一个代表计算过程的向图。对于输出的 s-op，图中包括表示 tokens 和 indices 的 source 节点，和代表输出 s-op 的 sink 节点。2. 推理 s-op 值对于每个 s-op，需要决定如何将其嵌入到剩余流中；了使用类别编码，需知道一个 s-op 可以取哪些值。因为算是确定的，基于有的输入词汇量和上下大小，所有节点都有组有限的输出值。所第二步的主要操作就对图进行遍历，并为个节点标注出其可能输出；标注使用简单启发式方法，确保找的是 s-op 值集合的超集。3. 独立地翻译 s-ops独立考虑计算图中的每节点，并将其转化为个 craft 组件；元素操作翻译为 MLP 块，选择-聚合操作翻译为注意力块使用人工设计的 MLP 和注意力模块库来近似数字和分类周书入输出的任意函数；将有分类输入和输出的 MLPs 作为查找表使；带有数字输入巫肦出的 MLP 使用基于通用函数近似定理明确结构。对于注意，把选择器翻译成𝑊_{𝑄𝐾} 运算符，把相应的聚合运算翻译𝑊_{𝑂𝑉} 运算符。目前只支持对分类入的注意力。4. 把组件分配到层上为了建一个 Transformer 模型，需要将计算图中的所有 craft 组件分配给各层。理想情况下目标是找到最小的模来进行所需的计算，一般可以将其表述为个具有几个约束条件组合优化问题：Transformer 结构具有交替的注意力 MLP 层，而且所有相互依赖的计算都要有正确的顺序。出范围上的考虑，可以启发式方法解决这个题。首先，计算出从入到一个给定节点的长路径，其路径长度可以分配给该节点的数的一个上限；然后用额外的启发式方法将层与可以并行计算块结合起来。这种方可以返回一个正确但时是次优的层分配。5. 构造一个 craft 模型直接对模型组件的输入和输出空进行求和作为构建的差流空间（residual stream space ）。换句话说，将每个 s-op 嵌入到它自己的正交子空间中，柘山个空间在整个网络中只留给它使用。然后按层分配决定的顺序遍计算图，并将组件堆起来，得到一个用 craft 表示的完整 Transformer。6. 组装 Transformer 权重最后，将模型的 craft 表示转换为具体的模型权重首先把并行的 MLP 层合并为一个层，再把并行的注意孟槐头合为一个层。其中在注层中，把𝑊_{𝑄𝐾} 和𝑊_{𝑂𝑉} 矩阵分成𝑊𝑞、𝑊𝑘、𝑜、𝑊𝑣重量矩阵。后调整所有权重的形，并将其连接到 Transformer 架构中就可以推断出型配置（深度、层宽残差流大小等），以应所创建的元素。只重新实现步骤 6，就可以直接将 Tracr 扩展到支持任何其他 Transformer 的实现。在可解释性研究中孟子应用Tracr 可以加速受控实验的验证过程，测试关于 Transformer 的计算结构的特定假设；通这种方式，它也相当成了可解释性研究的验平台。研究人员对 token 计数、排序等例子编写了 RASP 程序。可解释性工具的测试案例天狗译模型可以很自然地作测试「解释忠实性」基础，并提供了一种造可解释性技术给出解释的方法。发展到后，这些模型可以被来建立可解释性工具测试案例库，反过来可以实现定量的评价标。替换模型组件评对模型如何工作的理的另一种方法是用手编码的组件替换模型部分内容。例如有研人员通过用他们自己想化的实现来替换模的组件以测试他们对 Transformer 如何实现模块化加法的理解，结教山发现思路可以提高下游任的性能，相当于有力证明了所提出的解释正确的。虽然 Tracr 是将一个算法编译成一个完整的 Transformer 模型，但也可以通过改代码调整为只编译练模型中的一部分，而使得更容易评估对型模型的理解。理解型现象和开发新技术了评估之外，编译的型可以作为研究 circuits 级别现象和开发解释 Transformer 模型新方法的试验台。考资料：https://arxiv.org/pdf/2301.05062.pdf本文来自微信公众号新智元 （ID：AI_era）
IT之家 6 月 17 日消息 京东 618 狂欢电脑数码今晚 20 点开启巅峰盛典，以旧换新高补贴 1040 元，跨店每满 299 元减 50 元，省心一口价、价保 30 天，全场至高 24 期免息，点此前往。• 京东无门槛红包：点此取（每天可抽 3 次）• 天猫无门槛红包：点此取（每天可抽 1 次）部分好价单品：▼ 预定立减 3500 元、可用 400 元 PLUS 超级补贴（点此领取、24 期免息京东飞利浦 27 英寸 4K 量子点 MiniLED 显示器 IPS HDR1400 雷电 4 27B1U7903 预售券后 6094 元领 5 元券京东 LG 27 英寸 4K 160Hz HDMI2.1 NanoIPS HDR600 10.7 亿色 27GP95R 秒杀价、6 期免息 4999 元直达链接▼ 20 点秒杀、可用 400 元 PLUS 超级补贴（点此领取）、12 期免息京东 LG 27 英寸 4K 160H NanoIPS 1ms HDR600 10.7 亿色 27GN9506599 元直达链接▼ 预定立减 2800 元、下单立减 200 元、12 期免息京东飞利浦 27 英寸 4K 144Hz NanoIPS 屏 HDR600 Type-C 65W 279M1RVE 预售券后 4994 元领 5 元券▼ 以下两款型号配置样，QE 送 DP 线、QX 送 HDMI 线，均为 24 期免息京东戴尔 27 英寸 4K 超高清 IPS Black 屏 HDR400 硬件低蓝光 U2723QE 秒杀价券后 3749 元领 50 元券京东戴尔 4K 27 英寸 IPS Black Type-C 口 90W 反向充电 HDR400 U2723QX20 点秒杀券后 3769 元领 30 元券京东 Redmi 1A 23.8 英寸 IPS 技术 三微边设计 低蓝光 HDMI 接口 599 元直达链接京东华为 HUAWEI MateView SE 23.8 英寸 IPS P3 广色域 75Hz 低蓝光无频闪 20 点秒杀 699 元直达链接京东 AOC 27 英寸 2K HDR400 IPS 170Hz 快速液晶 1ms 响应 10Bit Q27G2S / D20 点秒杀券后 1799 元领 200 元券▼ 以下四款可用 120 元 PLUS 超级补贴（点此领取）京东小 27 英寸 4K 超清 IPS 技术 99% Adobe RGB HDR400 Type-C 90W 反向充电 20 点秒杀 2479 元直达链接京东小米 34 英寸 WQHD 曲面带鱼屏 144Hz 刷新率 低蓝光 游戏电竞曲面显示器杀价 1679 元直达链接京东为 MateView 显示器 28.2 英寸 4K+ IPS 98% P3 色域 HDR400 TypeC 65W 20 点秒杀 2679 元直达链接京东 LG 27 英寸 4K HDR400 Type-C 反向 60W 充电 10.7 亿色 内置音箱 27UN88020 点秒杀 2679 元直达链接・点此前往京东 618 电脑数码主会场：点此前往本文用于传递优信息，节省甄选间，结果仅供参。【广告
