云计算环境下大数据分布规律的结构优化设计

期刊: 理想家 DOI: PDF下载

曾令平

Logicmonitor成都研发中心,四川成都,610000

摘要

随着当今互联网技术的发展,数据的范围和类型在不断增加,从而进入了前所未有的大数据时代。云计算作为一种新型的信息模型,正以其自身的优势受到学术界和业界的广泛关注,这为开发大数据服务奠定了良好的基础。由于目前尚未建立有效的运行机制,因此在云计算环境中大数据的分布是不合理的。因此,本文首先对云计算与大数据进行了概述,然后对数据分布设计的目标进行了分析,接着对云计算环境下大数据分布规律的结构优化设计进行了分析,最后对仿真实验进行了分析。


关键词

云计算;大数据分布规律;结构优化设计

正文


随着我国计算机技术的逐步发展以及数据量类型的增加,各种信息安全问题被表现出来,在信息化时代,人们更加关心信息安全这个问题,而要提高数据分布的合理性且在不增加成本的状态下这是一个难题,也是相关学着研究的方向和重点,这个问题引起了光大群体的共同关注。现在,对于优化数据分布的方法有很多,且还取得了不错的成效,比如模糊聚类和最小二乘法。其中,还提出误差和曲线分析两种结构优化的方法。通过将测量数据与误差分析方法的数据直方图进行比较来优化结构,但是这个方法会比较复杂,这也是这个方法最大的缺陷。另外,张建国教授也提出了一种结构优化方法,运用非线性最小二乘法获取统计数据。刘国栋教授提出了一种基于线性整数规划设计的云计算环境下大数据分布的优化方法,并通过线性整数规划设计对大数据的分布进行了优化。但是,此方法仅限于非重复数据。

1云计算与大数据概述

1.1云计算

1.1.1关于数据储存技术

云计算网络技术顺利运行的关键是高校读取信息以及安全存储信息。对于大量数据,可以使用分布式存储技术在存储服务器中存储。这可以达到备份数据和保护数据本身的目的。另外,使用冗余存储和数据加密方法可以有效地防止数据信息的泄漏。

1.1.2关于虚拟化技术

云计算系统的计算和存储是重要的基础虚拟化技术。它们中的大多数将组件和计算机系统转换为虚拟环境,其中包括硬件资源,操作系统软件应用程序,虚拟层次结构等。通常,虚拟层通常由三层组成:上层,中间层和下层。中间层用于有效地连接顶层和底层,以有效地提供相同的功能,并确保虚拟链接中的功能。虚拟化技术可以组合系统的相关功能,以最大程度地利用资源。

1.1.3关于数据管理技术

云计算可以使用分布式处理和分析为用户提供更好的服务,但是管理数据管理技术的能力有限。其中,在目前最重要的数据管理技术是BigTableHBase

1.2大数据

简而言之,数据库就是大数据。随着互联网技术的不断更新和发展,数据的范围和类型正在迅速扩展,各种组织由于对大数据有着不同的需求因此对大数据的理解也有所不同。因此,学术界无法对大数据作出统一定。 IBM当前提供的3V数据模型的定义被广泛接受,因为它描述了大数据的本质。换句话说,大数据具有三个特征:海量性,多样性和高效性。其中,海量性指的是到达TBPB的各种数据。多样性是指数据的多样性,其结构大致分为结构化数据和非结构化数据,高效性是指处理速度和分析速度都在加快。

1.2.1针对优势

有一个可视化分析功能,可以直接,清晰地查看数据的属性和结果。大数据分析概念的关键是数据挖掘算法。该算法的主要内容是多样化的格式和类型,有效地强调功能性,为高价值数据挖掘奠定坚实的基础。大数据分析涵盖了许多应用领域,最重要的部分是预测性分析,对科学建模进行有效结合,将数据有效地集成到大数据模型中,以预测未来的数据。语义引擎用于主动数据分析,基于适当的科学技术收集相关信息。

1.2.2针对弊端

大数据本身具有许多发展潜力和可能性。人们对数据的收集正在逐渐增加,这些数据也正在通过社交媒体传播,会使人们的信息可能泄露,也有可能出现虚假信息,这样就会使数据出现偏差,数据是把双刃剑,它的作用有好有坏。

2数据分布设计的目标

2.1处理的本地性

数据的分布需要考虑提高本地性,为了在数据分布设计中最大化处理本地化,选择了最佳解决方案,在该解决方案中计算了每种替代分离方法和分段方法的本地和远程访问。简单的优化标准可以扩展完全本地化的应用程序。本地性的优势不仅减少了远程访问的数量,而且简化了控制。

2.2分布数据的可用性和可靠性

只读应用程序的可用性会使同一信息有多个拷贝,如果正常情况下保存的拷贝不可用,则系统将需要切换到另一个拷贝。还可以通过存储同一信息的多个拷贝来实现可靠性,因此将拷贝保存在地分散的地理位置非常重要。

2.3工作负荷分布

共享计算机系统的一个重要功能是在网站之间分配工作负载。共享负载的目的是利用在每个站点计算机的不同能力和 使用率 ,以提高应用程序执行的平行程度。

2.4存储的费用和可用性

数据库的分布会影响每个站点的存储成本和可用性。同时使用所有上述标准非常困难,并使优化模型复杂化。因此,上述某些功能可以视为障碍,而不是目标,也可能仅考虑最重要的标准。数据分布设计可以使用两种方法:顶部和底部。数据库的设计从上至下开始绘制全局模式,设计数据库的分段,把段分配到各站点,建立物理图像。如果添加现有数据库,则使用自下而上的方法来设计数据库。此方法将现有的制图组合到一个全局模式中,还需要选择一个通用数据库模型来构建全局数据库架构。将每个本地模式转换为标准数据模型,但是此方法存在以下问题:

①将段建模为单独的文件是不合适的,因为它们不考虑每个段是否具有相同的结构。②段的数量大于原始全局比例,但是许多分析模型无法计算出变量过多的问题的解决方案。③文件系统中应用程序建模的行为很简单,共享数据库应用程序中的数据很复杂。在设计和实施过程中,必须根据理论指导收集相关数据,并根据以下描述的数学模型执行数据分配。

3云计算环境下大数据分布规律的结构优化设计

当前,有许多结构优化技术用于研究云计算环境中的大数据分布规则。它包含模糊聚类的详细测量法,最小二乘法,其中,模糊聚类法是一种通过检查数据分布本身的性质并生成矩阵来确定关系的方法,最小二乘法是指匹配最小化误差的平方或是寻找最佳的函数,一种数据与实际数据之间平方误差之和的方法。

3.1构建X上的模糊关系

创建模糊关系是采用X模糊聚类技术的第一步,这是大数据分配方法的结构优化的基础。在此过程中,必须使用n阶歧义矩阵构造具有相似特征的系数,具有相同系数的矩阵。根据矩阵确定其在待处理数据X上的模糊关系,两个融合向量之间的接近度称为接近度,必须使用相似系数的计算和特征评估接近度方法来执行。例如,元素XiXj被视为每个属性的向量。用于计算梳理系数的梳理格式为:

     1

在公式(1)中,c和α描述常数。 p代表代表不同距离的代码系数。规范对论域 X = {X1x2...x5}。这个时间约。如果该值为0.1,则计算均匀系数以给出均匀的矩阵,如公式(2)所示。

  2

如果将表达式(1)和(2)组合以获得指定的第五个表达式,则需要在下一步之前对其进行拆分,以优化大数据结构的结构。

3.2大数据分配架构的优化设计

在开发大型数据库分布式结构优化项目之前,必须使用最小距离方法计算类之间的距离。样本dijij = 1,2...n)用于表示样本ij之间的差异。因此距离:

     3

如果使用G1G2...创建矩形,则类别kG矩形r之间的最短距离为:

   4

为了在云计算环境中优化大数据分布架构的设计,建议使用最少的远程方法来分析和识别用户以及传输的数据,保持最佳状态的数据。

4仿真实验分析

基于本文提出的模糊聚类,需要对该实验进行基本评估,以证明针对云计算环境中的大型数据传输的结构优化技术的有效性。两种方法进行十次实验,平均值作为实验结果,本文将访问成本都视为两种方法的健康指标。相对访问成本祇可以通过原始实际访问成本来描绘。这与云计算环境的总拓扑主要构造有关。最小二乘法随着代理程序存储容量的增加,访问成本如下图4所示,在本文优化大型数据结构之后。图1a)和(lb)代表总预算,分别占全部候选代理费用的10%和20%。

 

1两种方法相对成本随存储容量的变化情况

1中的分析表明,随着存储的增加,本文中提出的方法相对成本始终低于最小二大乘法的相对成本。如果所有成本的总预算从10%增添到20%,那么最小二乘法和本文提出了相对成本都会在一定程度上呈上升趋势,但是相较于最小二乘法来说,本文提出的方法上升趋势低于最小二乘法中上升宿舍,这意味着本文的性能均优于最小二乘法。如图1所示,每个代理的容量和云计算环境的预算成本在本文中与最小二乘法中均增加。 2.2a)显示了一种情况,即代理商的能力为总产品的50%。图2b)示出了代理能力为总产品的70%。

 

2两种方法相对成本随预算费用的变化情况

回顾图2。图2显示了此方法的性能优于最小二乘法。如果每个业务代表的能力或总体预算较低,则此方法的相对成本将小于最小二乘法。如果代理人容量是50%至70%的情况下,最小二乘法的相对成本与本文相比没有变化,这个数据进一步表明了本文方法的有效性。

5结语

在本文中,提出了在云计算环境中结构优化方法,该方法使用模糊聚类理论来实现功能观测值的标准化,它还实现了把所有特征值保持在正常范围内,因此仅保证数据特征仅有相对意。数据的相似性取决于矩阵概念中表达的重要参数,例如特定数据的异质性。最短距离方法是此方法中最重要的计算方法,与其他相同矩阵的集成可以完成数据类聚,并优化大数据分布体系结构的设计。在本文中,这种方法可以通过动态调整来实现大数据分布的科学性,测试结果表明了本文的准确性和有效性。

【参考文献】

[1]丁言. 云计算下大数据高效处理的若干关键问题研究[D].吉林大学,2018.

[2]王江亭,靳丹.基于模糊聚类分析的云数据分布规律研究[J].自动化与仪器仪表,2017(10):11-12.

[3]陈议.云计算环境下大数据分布规律的结构优化设计[J].电子技术与软件工程,2017(09):163.

[4]邹华.云计算环境下大数据分布规律的结构优化设计[J].现代电子技术,2016,39(08):18-20.

 


...


阅读全文