麻省理工学院的研究人员利用一个超级计算系统开发了一个模型，可以捕捉特定一天世界各地的网络流量，这可以作为互联网研究和其他许多应用的测量工具。
研究人员说，了解如此大规模的网络流量模式，对于为互联网政策提供信息、识别和防止中断、防御网络攻击以及设计更高效的计算基础设施非常有用。在最近的IEEE高性能极限计算会议上发表了一篇描述该方法的论文。
为了他们的工作，研究人员收集了最大的公开的互联网流量数据集，包括500亿个数据包在全球不同地点在数年间交换。天富平台登录
他们通过一种新的“神经网络”管道运行数据，该管道横跨麻省理工学院超级云(MIT SuperCloud)的10,000个处理器，该系统结合了来自麻省理工学院林肯实验室(MIT Lincoln Laboratory)和整个研究所的计算资源。这个管道自动训练了一个模型来捕捉数据集中所有链接的关系——从普通的ping到像谷歌和Facebook这样的巨头，再到很少的链接，这些链接只是短暂连接，但似乎对网络流量有一定影响。
该模型可以使用任何大量的网络数据集，并生成一些关于网络中所有连接如何相互影响的统计度量。这些数据可以用来揭示点对点文件共享、恶意IP地址、垃圾邮件行为、关键区域的攻击分布以及流量瓶颈，从而更好地分配计算资源并保持数据流动。
全球网络流量超级计算机
麻省理工学院的研究人员利用一个超级计算系统开发了一个模型，该模型可以捕捉到某一天全球网络流量的样子，包括以前从未见过的孤立链接(左图)，这些链接很少连接，但似乎会影响核心网络流量(右图)。图片由麻省理工学院新闻编辑，研究人员提供
从概念上讲，这项工作类似于测量宇宙微波背景辐射，即在宇宙中传播的近乎均匀的无线电波，它是研究外太空现象的重要信息源。“我们建立了一个精确的模型来测量互联网虚拟宇宙的背景，”Jeremy Kepner说，他是麻省理工学院林肯实验室超级计算中心的研究员，也是一名训练有素的天文学家。“如果你想检测任何变异或异常，你必须有一个良好的背景模型。”天富平台登录
加入Kepner的论文有:日本互联网倡议组织的Cho Kenjiro;加州大学圣地亚哥分校应用互联网数据分析中心的KC Claffy;林肯实验室超级计算中心的Vijay Gadepally和Peter Michaleas;以及麻省理工学院地球、大气和行星科学系的研究员劳伦·米列钦(Lauren Milechin)。
分手的数据
在互联网研究中，专家研究网络流量的异常情况，例如网络威胁。要做到这一点，首先要了解正常流量是什么样子。但要抓住这一点仍然具有挑战性。传统的“流量分析”模型只能分析受位置限制的源和目的地之间交换的小样本数据包。这降低了模型的准确性。
研究人员并没有特别想解决这一交通分析问题。但他们一直在开发新技术，可以用于麻省理工学院的超级云来处理大规模网络矩阵。互联网流量是一个完美的测试案例。
网络通常以图的形式进行研究，参与者用节点表示，连接用节点之间的连接表示。随着互联网流量的增加，节点的大小和位置也有所不同。大型超级节点是流行的集线器，如谷歌或Facebook。叶节点从超节点上展开，彼此之间和超节点之间有多个连接。位于超节点和叶节点“核心”之外的是孤立的节点和链接，它们很少相互连接。
对传统模型来说，捕捉这些图的全部范围是不可行的。凯普纳说:“没有超级计算机，你就无法接触到这些数据。”
在与由几所日本大学和加利福尼亚的应用互联网数据分析中心建立的广泛集成分布式环境(WIDE)项目的合作中，麻省理工学院的研究人员为互联网流量捕获了世界上最大的包捕获数据集。这个匿名数据集包含了近500亿个独特的来源和目的地数据点，这些数据点分布在日本和美国的不同地点，随机抽取的时间跨度为几天。
