1.3、获取获MapReduce详解与源码分析
2.[stl 源码分析] std::list::size 时间复杂度
3.UE4：Niagara扩展CameraQuery支持CPU获取ViewSize
4.网页源代码的指定指定基本结构是什么
5.Navigation包 Global_planner全局路径规划源码详细解析
3、MapReduce详解与源码分析
文章目录
1
Split阶段
在MapReduce的径路径流程中，Split阶段是源码将输入文件根据指定大小（默认MB）切割成多个部分，每个部分称为一个split。文件split的获取获防误报源码大小由minSize、maxSize、指定指定blocksize决定。径路径以wordcount代码为例，源码split数量由FileInputFormat的文件getSplits方法确定，返回值即为mapper的获取获数量。默认情况下，指定指定mapper的径路径数量是文件大小除以block大小。此步骤由FileInputFormat的源码子类TextInputFormat完成，它负责将输入文件分割为InputSplit，文件从而决定mapper的数量。
2
Map阶段
每个map task在执行过程中，会有内存缓冲区用于存储处理结果，缓冲区大小默认为MB，超过MB阈值时，数据将被写入磁盘作为临时文件，最后将所有临时文件合并为最终输出。玩具战争源码在写入过程中，数据将被分区、排序、并执行combine操作，以优化数据处理效率。
2.1
分区
MapReduce自带的分区器HashPartitioner将数据按照key值进行分区，确保数据均匀分布在reduce task之间。
2.2
排序
在完成分区后，数据会按照key值进行排序，以便后续的Shuffle阶段能够高效地将相同key值的数据汇聚到一起。
3
Shuffle阶段
Shuffle阶段是MapReduce的核心，负责数据从map task输出到reduce task输入的过程。reduce task会根据自己的分区号从各个map task中获取相应数据分区，之后会对这些文件进行合并（归并排序），将相同key值的数据汇聚到一起，为reduce阶段做好准备。
4
Reduce阶段
Reduce阶段分为抓取、合并、排序三个步骤。reduce task创建并行抓取线程，通过HTTP协议从完成的穿心箭源码map task中获取结果文件。抓取的数据先保存在内存中，超过内存大小时，数据将被溢写到磁盘。合并后的数据将按照key值排序，最终交给reduce函数进行计算，形成有序的计算结果。
调节Reduce任务数量
在处理大数据量时，调节Reduce任务数量是优化MapReduce性能的关键。如果设置过低，会导致节点资源闲置，效率低下。通常情况下，将Reduce任务设置为一个较大的值（最大值为），以充分利用资源。调节方法在于合理设置reduce task的数量，避免资源浪费，同时保证计算的高效性。
[stl 源码分析] std::list::size 时间复杂度
在对Linux上C++项目进行性能压测时，一个意外的发现是std::list::size方法的时间复杂度并非预期的高效。原来，这个接口在较低版本的雷霆买入源码g++（如4.8.2）中是通过循环遍历整个列表来计算大小的，这导致了明显的性能瓶颈。@NagiS的提示揭示了这个问题可能与g++版本有关。
在功能测试阶段，CPU负载始终居高不下，通过火焰图分析，std::list::size的调用占据了大部分执行时间。火焰图的使用帮助我们深入了解了这一问题。
查阅相关测试源码（源自cplusplus.com），在较低版本的g++中，std::list通过逐个节点遍历来获取列表长度，这种操作无疑增加了时间复杂度。然而，对于更新的g++版本（如9），如_glibcxx_USE_CXX_ABI宏启用后，list的实现进行了优化。它不再依赖遍历，而是利用成员变量_M_size直接存储列表大小，从而将获取大小的时间复杂度提升到了[公式]，显著提高了性能。具体实现细节可在github上找到，如在/usr/include/c++/9/bits/目录下的夸克资源码代码。
UE4：Niagara扩展CameraQuery支持CPU获取ViewSize
在使用UE4中的Niagara系统进行粒子系统开发时，遇到过一个需求：需要在CPU粒子系统中获取ViewSize参数，而该参数在CameraQuery组件中仅提供了一个支持GPU的方法。为了解决这个问题，我们探究了如何在Niagara系统中实现CPU获取ViewSize的方法。
首先，创建一个NiagaraScript并添加CameraQuery节点，目的是获取ViewSize参数。在MapGet节点中拉出一个Get方法，可以看到该方法支持CPU还是GPU。然而，由于添加了一个不支持的方法，编译时会报错。因此，我们需要实现一个在CPU粒子系统中获取ViewSize的解决方案。
通过查看CameraQuery的源码，发现GetViewPropertiesGPU函数在注释中被标记为CPU模拟实现，实际并未获取任何数据。进一步研究其他CPU函数的实现，我们了解到数据实际上是从Context的FCameraDataInterface_InstanceData中获取的。通过VectorVM::FExternalFuncRegisterHandler的方式，将获取到的值传递到输出pin，完成了数据从实例数据到输出的传递。
接着，关注到UNiagaraDataInterfaceCamera::GetCameraProperties函数中的完整流程，它更详细地展示了如何添加输出、获取值和赋值的操作。通过分析FCameraDataInterface_InstanceData的初始化和PerInstanceTick函数，我们了解到摄像机参数是通过从World和PlayerController获取的，而这些操作在Tick函数中进行。确认了摄像机参数的获取过程合理，并支持编辑器模式下的正常获取。
在GetFunctions函数中，添加输出和方法的定义时，需要注意函数名、支持CPU/GPU的标志以及是否为成员函数等细节。在GetFunctionHLSL中，只关注CPU方法的实现，通过函数的DefinitionName获取HLSL代码。
为了在CameraQuery中增加获取ViewSize的方法，我们需要在FCameraDataInterface_InstanceData结构体中增加相应的参数，并在PerInstanceTick函数中进行赋值。同时，修改GetFunctions和GetFunctionHLSL以支持CPU粒子系统。最后，通过绑定GetVMExternalFunction完成方法的实现。
实现后，可以通过任意的Material进行调试，并在编辑器中查看结果，验证方法的正确性。这样，我们不仅解决了获取ViewSize的需求，还为Niagara系统的CPU粒子系统增加了更多灵活性。
网页源代码的基本结构是什么
如图：1.无论是动态还是静态页面都是以“<html>”开始，然后在网页最后以“</html>”结尾。
2.<head>”页头
其在<head></head>中的内容是在浏览器中内容无法显示的，这里是给服务器、浏览器、链接外部JS、a链接CSS样式等区域，而里面“<title></title>”中放置的是网页标题。
3.“<meta name="keywords" content="关键字" /> <meta name="description" content="本页描述或关键字描述" /> ”
这两个标签里的内容是给搜索引擎看的说明本页关键字及本张网页的主要内容等SEO可以用到。
4."<body></body> "
也就是常说的body区 ，这里放置的内容就可以通过浏览器呈现给用户，其内容可以是table表格布局格式内容，也可以DIV布局的内容，也可以直接是文字。这里也是最主要区域，网页的内容呈现区。
5.最后是以"</html> "结尾，也就是网页闭合。
以上是一个完整的最简单的html语言基本结构，通过以上可以再增加更多的样式和内容充实网页。
扩展资料：
标签详解：
1.<!doctype>：是声明用哪个 HTML 版本进行编写的指令。并不是 HTML 标签。<!doctype html>：html5网页声明，表示网页采用html5。
2.<meta>：提供有关页面的元信息（针对搜索引擎和更新频度的描述和关键词等），写在<head>标签内。
a）<meta charset="UTF-8">：设置页面的编码格式UTF-8；
b）<meta name="Generator" content="EditPlus">：说明生成工具为EditPlus；
c）<meta name="Author" content="">：告诉搜索引擎站点制作的作者；
d）<meta name="Keywords" content="">：告诉搜索引擎网站的关键字；
e）<meta name="Description" content="">：告诉搜索引擎网站的内容；
参考资料：
html代码-百度百科Navigation包 Global_planner全局路径规划源码详细解析
学习总结，如有错误欢迎指正！一丶plan_node.cpp从程序入口开始，首先在plan_node.cpp的main函数中，初始化了全局路径规划器。
costmap_2d::Costmap2DROS?lcr("costmap",?buffer);global_planner::PlannerWithCostmap?pppp("planner",?&lcr);在函数PlannerWithCostmap中设置了两种调用makePlan的路径：
PlannerWithCostmap::PlannerWithCostmap(string?name,?Costmap2DROS*?cmap)?:GlobalPlanner(name,?cmap->getCostmap(),?cmap->getGlobalFrameID())?{ ros::NodeHandle?private_nh("~");cmap_?=?cmap;make_plan_service_?=?private_nh.advertiseService("make_plan",?&PlannerWithCostmap::makePlanService,?this);pose_sub_?=?private_nh.subscribe<rm::PoseStamped>("goal",?1,?&PlannerWithCostmap::poseCallback,?this);}1.通过make_plan服务
req.start.header.frame_id?=?"map";req.goal.header.frame_id?=?"map";bool?success?=?makePlan(req.start,?req.goal,?path);2.通过goal回调函数
//得到当前机器人在MAP中的位置cmap_->getRobotPose(global_pose);makePlan(global_pose,?*goal,?path);在getRobotPose函数中，通过tf_.transform(robot_pose, global_pose, global_frame_);函数，默认将机器人pose从base_link转换到map坐标系下，可通过参数设置。得到起始点和目标点传入到makePlan中。
二丶 planner_core.cpp//register?this?planner?as?a?BaseGlobalPlanner?pluginPLUGINLIB_EXPORT_CLASS(global_planner::GlobalPlanner,?nav_core::BaseGlobalPlanner)global_planner 是基类nav_core :: BaseGlobalPlanner的一个插件子类
首先在构造函数中需要初始化GlobalPlanner，在initialize中对一些参数进行赋值。
GlobalPlanner::GlobalPlanner(std::string?name,?costmap_2d::Costmap2D*?costmap,?std::string?frame_id)?:GlobalPlanner()?{ //initialize?the?plannerinitialize(name,?costmap,?frame_id);}当调用makePlan时，首先就是判断是否已经被初始化：
//?code?line?~?makePlan()if?(!initialized_)?{ ROS_ERROR("This?planner?has?not?been?initialized?yet,?but?it?is?being?used,?please?call?initialize()?before?use");return?false;}m初始化完成之后，清除之前规划的Plan，以防万一。然后检查起点和终点是否在我们所需要的坐标系下，一般在map系下。
//clear?the?plan,?just?in?case?，?code?line??makePlan()plan.clear();if?(goal.header.frame_id?!=?global_frame)?{ ...}if?(start.header.frame_id?!=?global_frame){ ...}将世界坐标系的点(map 坐标系)转换成图像坐标系(图像左下角)下的点(以像素表示)
if?(!costmap_->worldToMap(wx,?wy,?goal_x_i,?goal_y_i))?{ ROS_WARN_THROTTLE(1.0,"The?goal?sent?to?the?global?planner?is?off?the?global?costmap.?Planning?will?always?fail?to?this?goal.");return?false;}在Costmap2D和GlobalPlanner中都有实现worldToMap，其实都是一样的，在GlobalPlanner中则需要通过调用Costmap2D来获取局部地图的起始点和分辨率，而在Costmap2D则可以直接使用全局变量。
bool?Costmap2D::worldToMap(double?wx,?double?wy,?unsigned?int&?mx,?unsigned?int&?my)?const{ ?if?(wx?<?origin_x_?||?wy?<?origin_y_)return?false;?mx?=?(int)((wx?-?origin_x_)?/?resolution_);?my?=?(int)((wy?-?origin_y_)?/?resolution_);?if?(mx?<?size_x_?&&?my?<?size_y_)return?true;?return?false;}old_navfnbehavior ?作为一种旧式规划行为：
The start of the path does not match the actual start location.
The very end of the path moves along grid lines.
All of the coordinates are slightly shifted by half a grid cell
现在在worldToMap所使用的convert_offset_ = 0
接下来将机器人Robot所在的位置，在costmap中设置成free，当前位置不可能是一个障碍物。 即在clearRobotCell()函数中：mx，my即当前机器人位置。
PlannerWithCostmap::PlannerWithCostmap(string?name,?Costmap2DROS*?cmap)?:GlobalPlanner(name,?cmap->getCostmap(),?cmap->getGlobalFrameID())?{ ros::NodeHandle?private_nh("~");cmap_?=?cmap;make_plan_service_?=?private_nh.advertiseService("make_plan",?&PlannerWithCostmap::makePlanService,?this);pose_sub_?=?private_nh.subscribe<rm::PoseStamped>("goal",?1,?&PlannerWithCostmap::poseCallback,?this);}0设置规划地图边框：outlineMap，此函数由参数outline_map_决定。 根据costmap跟起始终止点计算网格的potential，计算的算法有两种：Dijkstra和A*，具体算法便不再讨论，资料很多。 当提取到plan之后，调用getPlanFromPotential，把path转换变成geometry_msgs::PoseStamped数据类型。
PlannerWithCostmap::PlannerWithCostmap(string?name,?Costmap2DROS*?cmap)?:GlobalPlanner(name,?cmap->getCostmap(),?cmap->getGlobalFrameID())?{ ros::NodeHandle?private_nh("~");cmap_?=?cmap;make_plan_service_?=?private_nh.advertiseService("make_plan",?&PlannerWithCostmap::makePlanService,?this);pose_sub_?=?private_nh.subscribe<rm::PoseStamped>("goal",?1,?&PlannerWithCostmap::poseCallback,?this);}1此时便得到所需要的路径plan，最终调用OrientationFilter平滑之后发布出去。
PlannerWithCostmap::PlannerWithCostmap(string?name,?Costmap2DROS*?cmap)?:GlobalPlanner(name,?cmap->getCostmap(),?cmap->getGlobalFrameID())?{ ros::NodeHandle?private_nh("~");cmap_?=?cmap;make_plan_service_?=?private_nh.advertiseService("make_plan",?&PlannerWithCostmap::makePlanService,?this);pose_sub_?=?private_nh.subscribe<rm::PoseStamped>("goal",?1,?&PlannerWithCostmap::poseCallback,?this);}2
