基于Standalone或者Yarn模式提交Flink任务后，当任务执行失败、取消或者完成后，可以在WebUI中查看对应任务的统计信息，这些统计信息在生产环境中对我们来说非常重要，可以知道一个任务异常挂掉前发生了什么，便于定位问题。
当基于Standalone session模式提交相应任务时，集群重启后我们没有办法查看集群之前运行任务的情况，如果是基于pre-job方式提交任务，任务执行完成之后，那么相对应的统计信息也不会保存，基于Yarn运行的Flink任务也是一样道理。这样对于我们查看先前Flink作业统计信息或参数带来了不便。Flink中提供了History Server 来解决这个问题，可以在任务执行完成后保留相应的任务统计信息，便于分析和定位问题。
(资料图片)
History Server 允许查询由JobManager归档的已完成作业的状态和统计日志信息。已完成的作业归档由JobManager上传持久化到某个路径下，这个路径可以是本地文件系统、HDFS、H3等，History Server 可以周期扫描该路径将归档的Flink任务日志恢复出来，从而可以查看相应Flink任务日志情况。
在Standalone中配置History Server 服务需要选择一台节点当做History Server ,这台节点可以是JobManager/TaskManager节点，也可以是Standalone集群外的一台节点，这里选择node4节点作为Flink History Server 节点。Standalone配置HistoryServer 服务步骤如下：
1.1、在JM 和 TM 节点上配置 flink-conf.yaml
在Flink Standalone JobManager和TaskManager节点上配置flink-conf.yaml文件，指定Flink完成任务持久化的路径，这里选择HDFS目录作为任务日志持久化保存目录。在node1、node2、node3节点上配置$FLINK_HOME/conf/flink-conf.yaml文件，加入以下配置。
#Flink job运行完成后日志存储目录jobmanager.archive.fs.dir: hdfs://mycluster/flink/completed-jobs/Flink会根据以上配置连接HDFS 目录存储任务数据，所以需要在node1、node2、node3节点上/etc/profile中配置HADOOP_CLASSPATH环境变量。
#vim /etc/profile,加入以下配置export HADOOP_CLASSPATH=`hadoop classpath`#source /etc/profile 使环境变量生效source /etc/profile1.2、在History Server 节点上配置 flink-conf.yaml
在node4节点上配置$FLINK_HOME/conf/flink-conf.yaml文件，加入如下配置，配置HistoryServer。
#Flink History Server 节点historyserver.web.address: node4#Flink History Server 端口historyserver.web.port: 8082#Flink History Server 恢复任务的目录historyserver.archive.fs.dir: hdfs://mycluster/flink/completed-jobs/#Flink History Server 监控任务日志目录刷新时间间隔（毫秒）historyserver.archive.fs.refresh-interval: 10000Flink会根据以上配置连接HDFS目录恢复任务数据，这里要求"historyserver.archive.fs.dir"参数配置需要与Flink各个节点上配置的"jobmanager.archive.fs.dir"参数路径保持一致。此外，需要在node4节点上/etc/profile中配置HADOOP_CLASSPATH环境变量。
# vim /etc/profile,加入以下配置export HADOOP_CLASSPATH=`hadoop classpath`#source /etc/profile 使环境变量生效[root@node4 ~]# source /etc/profile1.3、启动 Flink 历史日志服务器
在node4节点上启动Flink History Server
#启动Flink 历史日志服务器[root@node4 ~]# cd /software/flink-1.16.0/bin/[root@node4 bin]# ./historyserver.sh startHistory Server 启动后，可以通过https://node4:8082 来访问历史日志服务页面。
我们可以通过向Standalone集群中提交任务来验证History Server是否能正常展示运行Flink任务的统计信息，步骤如下：
2.1、启动 Standalone 集群
[root@node1 ~]# cd /software/flink-1.16.0/bin/[root@node1 bin]# ./start-cluster.sh2.2、提交任务
向Flink集群中提交任务，任务还是选择读取Socket端口数据实时统计WordCount。首先在node5节点上启动socket服务：
[root@node5 ~]# nc -lk 9999在node4 客户端提交Flink任务（可以在任意节点提交Flink任务），命令如下：
[root@node4 ~]# cd /software/flink-1.16.0/bin/[root@node4 bin]# ./flink run -m node1:8081 -c com.mashibing.flinkjava.code.chapter3.SocketWordCount /root/FlinkJavaCode-1.0-SNAPSHOT-jar-with-dependencies.jar提交任务后在HDFS中暂时不会生成hdfs://mycluster/flink/completed-jobs"目录，当Flink集群停止、任务取消、任务失败后才可以在该目录下看到job信息。
2.3、取消任务并查看历史日志
在node5节点向Socket 9999端口输入一些数据：
hello,ahello,bhello,chello,d然后在Flink WebUI中取消当前任务：
取消任务后可以在"hdfs://mycluster/flink/completed-jobs"目录中看到取消任务的信息：
当任务取消后，也可以停止Flink集群，Flink集群重启后先前的任务统计信息不会展示，可以登录Flink历史日志服务器查看先前任务统计信息：
注意：在取消任务或者停止Flink集群后，需要等待一小段时间才能在Flink历史日志服务器中查看到对应的取消任务。
Flink基于Yarn运行时，当Flink任务形成的集群停止后，无法看到对应任务的统计信息，也可以通过配置History Server来实现基于Yarn的Flink集群停止后查看任务的统计信息。
这里选择node5节点为History Server，基于Yarn运行Flink任务配置HistoryServer服务步骤如下：
1.1、在node5 节点上配置 flink-conf.yaml
在node5节点上配置$FLINK_HOME/conf/flink-conf.yaml文件，最后配置以下配置项。
#Flink job运行完成后日志存储目录jobmanager.archive.fs.dir: hdfs://mycluster/flink-yarn/completed-jobs/#Flink History 服务器地址historyserver.web.address: node5#HistroyServer WebUI 访问端口historyserver.web.port: 8082#HistoryServer历史日志服务恢复任务信息目录historyserver.archive.fs.dir: hdfs://mycluster/flink-yarn/completed-jobs/#Flink History Server 监控任务日志目录刷新时间间隔（毫秒）historyserver.archive.fs.refresh-interval: 10000Flink会根据以上配置连接HDFS 目录存储任务数据，所以需要在node5节点上/etc/profile中配置HADOOP_CLASSPATH环境变量。
#vim /etc/profile,加入以下配置export HADOOP_CLASSPATH=`hadoop classpath`#source /etc/profile 使环境变量生效source /etc/profile1.2、启动 Flink 历史日志服务器并访问
在node5节点上启动Flink History Server
#启动Flink 历史日志服务器[root@node5 ~]# cd /software/flink-1.16.0/bin/[root@node5 bin]# ./historyserver.sh start访问历史日志服务地址：https://node5:8082
在node5节点基于Yarn提交Flink任务来验证History Server是否能正常展示执行完成的Flink任务统计信息。步骤如下：
2.1、向Yarn 集群中提交 Flink任务
向Yarn集群中提交Flink任务，任务还是选择读取Socket端口数据实时统计WordCount。在node5节点启动socket服务器：
[root@node5 ~]# nc -lk 9999在node5节点向Flink集群中提交Flink任务，命令如下：
[root@node5 ~]# cd /software/flink-1.16.0/bin/# 提交Flink任务[root@node5 bin]#./flink run-application -t yarn-application -c com.lanson.flinkjava.code.chapter3.SocketWordCount /root/FlinkJavaCode-1.0-SNAPSHOT-jar-with-dependencies.jar提交任务后在HDFS中暂时不会生成hdfs://mycluster/flink/completed-jobs"目录，当Flink集群停止、任务取消、任务失败后才可以在该目录下看到job信息。
2.2、取消任务并查看历史日志
在node5节点向Socket 9999端口输入一些数据：
hello,ahello,bhello,chello,d然后登录Yarn(https://node1:8081) WebUI，找到提交的任务取消对应Flink任务：
取消任务后可以在"hdfs://mycluster/flink-yarn/completed-jobs"目录中看到取消任务的信息：
登录Flink历史日志服务器查看取消任务统计信息：
注意：在取消任务或者停止Flink集群后，需要等待一小段时间才能在Flink历史日志服务器中查看到对应的取消任务。
标签：
