在面对海量教育数据处理情况时,传统的协同过滤算法在单机上训练和测试效率低下,针对该问题,提出了基于Hadoop分布式平台和Spark并行计算模型的无中间结果输出改进型教育资源推荐策略,该策略较好地发挥了Spark的迭代计算能力优势,在应用于教育资源推荐时,比较了传统算法与改进算法在分布式情况和非分布式情况下的推荐效率和推荐质量的情况。实验结果表明,利用Spark计算模型实现协同过滤算法能够有效地提高教育资源个性化推荐的推荐质量以及推荐效率。联起来形成有向无环图(directedacyclicgraph，DAG)，从而可以更加高效地实现处理执行。1．1个性化推荐研究-数控滚圆机滚弧机折弯机张家港电动液压滚圆机滚弧机折弯机．1Spark的架构Spark的架构采用了分布式计算中的Master－Slave模型。具体地，Master是对应集群中含有Master进程的节点，Slave是集群中含有Worker集群的节点。作为整个集群的控制器，本文由公司网站弯管机滚圆机滚弧机网站采集转载中国知网整理! http://www.gunyuanji.wang Master指挥操纵整个集群的运行;Worker相当于是计算节点，接收主节点命令与传送状态汇报;Executer用于提供任务的执行;Client作为用户客户端的指定功能即为提交应用，而Driver则掌控一个应用的执行。Spark的设计架构即如图1所示。图1Spark的架构图Fi集群部署完成之后，需要在主节点和从节点上分别启动Master进程和Worker进程，对整个集群进行控制。在一个Spark应用的执行过程中，Driver和Worker是2个重要的角色。总地来说，Driver程序是应用逻辑执行的起点，重点实现作业的调度，即Task任务的分发，而多个Worker用来管理计算节点和创建Executer并行处理任务［7］。在执行阶段，Driver会将Task和Task所依赖的File和jar序列化后传递给对方的Worker机器，同时Executer对相应数据分区的任务设定操作处理。Spark的整体流程为:Client提交应用，Master找到一个Worker启动Driver，Driver向Master或者资源管理器申请资源，之后将应用转化为ＲDD(ＲDDGraph)，再由h转化为Stage的有向无环图提交给er提交任务给Executer付诸执行。在任务执行过程中，其他组件协同工作，确保整个应用模式的效果进化与展现。1．1．2Spark的运行逻辑如下图2中所示，在Spark的应用中，这个执行流程在逻辑个性化推荐研究-数控滚圆机滚弧机折弯机张家港电动液压滚圆机滚弧机折弯机上会形成有向无环图(DAG)。Action算子触发之后，将所有累积的算子整合构本文由公司网站弯管机滚圆机滚弧机网站采集转载中国知网整理! http://www.gunyuanji.wang