zookeeper – 八进制

服务器重启后zookeeper启动失败，报错日志如下：

zookeeper    | ZooKeeper JMX enabled by default
zookeeper    | Using config: /opt/zookeeper-3.4.13/bin/../conf/zoo.cfg
zookeeper    | 2022-10-05 17:24:53,976 [myid:] - INFO  [main:QuorumPeerConfig@136] - Reading configuration from: /opt/zookeeper-3.4.13/bin/../conf/zoo.cfg
zookeeper    | 2022-10-05 17:24:53,979 [myid:] - INFO  [main:DatadirCleanupManager@78] - autopurge.snapRetainCount set to 3
zookeeper    | 2022-10-05 17:24:53,979 [myid:] - INFO  [main:DatadirCleanupManager@79] - autopurge.purgeInterval set to 1
zookeeper    | 2022-10-05 17:24:53,980 [myid:] - WARN  [main:QuorumPeerMain@116] - Either no config or no quorum defined in config, running  in standalone mode
zookeeper    | 2022-10-05 17:24:53,980 [myid:] - INFO  [PurgeTask:DatadirCleanupManager$PurgeTask@138] - Purge task started.
zookeeper    | 2022-10-05 17:24:53,990 [myid:] - INFO  [main:QuorumPeerConfig@136] - Reading configuration from: /opt/zookeeper-3.4.13/bin/../conf/zoo.cfg
zookeeper    | 2022-10-05 17:24:53,990 [myid:] - INFO  [main:ZooKeeperServerMain@98] - Starting server
zookeeper    | 2022-10-05 17:24:53,995 [myid:] - INFO  [main:Environment@100] - Server environment:zookeeper.version=3.4.13-2d71af4dbe22557fda74f9a9b4309b15a7487f03, built on 06/29/2018 04:05 GMT
zookeeper    | 2022-10-05 17:24:53,996 [myid:] - INFO  [main:Environment@100] - Server environment:host.name=fdf9214b4b7e
zookeeper    | 2022-10-05 17:24:53,996 [myid:] - INFO  [main:Environment@100] - Server environment:java.version=1.7.0_65
zookeeper    | 2022-10-05 17:24:53,996 [myid:] - INFO  [main:Environment@100] - Server environment:java.vendor=Oracle Corporation
zookeeper    | 2022-10-05 17:24:53,996 [myid:] - INFO  [main:Environment@100] - Server environment:java.home=/usr/lib/jvm/java-7-openjdk-amd64/jre
zookeeper    | 2022-10-05 17:24:53,996 [myid:] - INFO  [main:Environment@100] - Server environment:java.class.path=/opt/zookeeper-3.4.13/bin/../build/classes:/opt/zookeeper-3.4.13/bin/../build/lib/*.jar:/opt/zookeeper-3.4.13/bin/../lib/slf4j-log4j12-1.7.25.jar:/opt/zookeeper-3.4.13/bin/../lib/slf4j-api-1.7.25.jar:/opt/zookeeper-3.4.13/bin/../lib/netty-3.10.6.Final.jar:/opt/zookeeper-3.4.13/bin/../lib/log4j-1.2.17.jar:/opt/zookeeper-3.4.13/bin/../lib/jline-0.9.94.jar:/opt/zookeeper-3.4.13/bin/../lib/audience-annotations-0.5.0.jar:/opt/zookeeper-3.4.13/bin/../zookeeper-3.4.13.jar:/opt/zookeeper-3.4.13/bin/../src/java/lib/*.jar:/opt/zookeeper-3.4.13/bin/../conf:
zookeeper    | 2022-10-05 17:24:53,996 [myid:] - INFO  [main:Environment@100] - Server environment:java.library.path=/usr/java/packages/lib/amd64:/usr/lib/x86_64-linux-gnu/jni:/lib/x86_64-linux-gnu:/usr/lib/x86_64-linux-gnu:/usr/lib/jni:/lib:/usr/lib
zookeeper    | 2022-10-05 17:24:53,996 [myid:] - INFO  [main:Environment@100] - Server environment:java.io.tmpdir=/tmp
zookeeper    | 2022-10-05 17:24:53,996 [myid:] - INFO  [main:Environment@100] - Server environment:java.compiler=<NA>
zookeeper    | 2022-10-05 17:24:53,998 [myid:] - INFO  [main:Environment@100] - Server environment:os.name=Linux
zookeeper    | 2022-10-05 17:24:53,998 [myid:] - INFO  [main:Environment@100] - Server environment:os.arch=amd64
zookeeper    | 2022-10-05 17:24:53,998 [myid:] - INFO  [main:Environment@100] - Server environment:os.version=4.4.249-1.el7.elrepo.x86_64
zookeeper    | 2022-10-05 17:24:53,998 [myid:] - INFO  [main:Environment@100] - Server environment:user.name=root
zookeeper    | 2022-10-05 17:24:53,999 [myid:] - INFO  [main:Environment@100] - Server environment:user.home=/root
zookeeper    | 2022-10-05 17:24:53,999 [myid:] - INFO  [main:Environment@100] - Server environment:user.dir=/opt/zookeeper-3.4.13
zookeeper    | 2022-10-05 17:24:54,000 [myid:] - INFO  [PurgeTask:DatadirCleanupManager$PurgeTask@144] - Purge task completed.
zookeeper    | 2022-10-05 17:24:54,000 [myid:] - INFO  [main:ZooKeeperServer@836] - tickTime set to 2000
zookeeper    | 2022-10-05 17:24:54,000 [myid:] - INFO  [main:ZooKeeperServer@845] - minSessionTimeout set to -1
zookeeper    | 2022-10-05 17:24:54,000 [myid:] - INFO  [main:ZooKeeperServer@854] - maxSessionTimeout set to -1
zookeeper    | 2022-10-05 17:24:54,007 [myid:] - INFO  [main:ServerCnxnFactory@117] - Using org.apache.zookeeper.server.NIOServerCnxnFactory as server connection factory
zookeeper    | 2022-10-05 17:24:54,010 [myid:] - INFO  [main:NIOServerCnxnFactory@89] - binding to port 0.0.0.0/0.0.0.0:2181
zookeeper    | 2022-10-05 17:24:54,799 [myid:] - ERROR [main:ZooKeeperServerMain@66] - Unexpected exception, exiting abnormally
zookeeper    | java.io.EOFException
zookeeper    |  at java.io.DataInputStream.readInt(DataInputStream.java:392)
zookeeper    |  at org.apache.jute.BinaryInputArchive.readInt(BinaryInputArchive.java:63)
zookeeper    |  at org.apache.zookeeper.server.persistence.FileHeader.deserialize(FileHeader.java:66)
zookeeper    |  at org.apache.zookeeper.server.persistence.FileTxnLog$FileTxnIterator.inStreamCreated(FileTxnLog.java:585)
zookeeper    |  at org.apache.zookeeper.server.persistence.FileTxnLog$FileTxnIterator.createInputArchive(FileTxnLog.java:604)
zookeeper    |  at org.apache.zookeeper.server.persistence.FileTxnLog$FileTxnIterator.goToNextLog(FileTxnLog.java:570)
zookeeper    |  at org.apache.zookeeper.server.persistence.FileTxnLog$FileTxnIterator.next(FileTxnLog.java:650)
zookeeper    |  at org.apache.zookeeper.server.persistence.FileTxnSnapLog.fastForwardFromEdits(FileTxnSnapLog.java:219)
zookeeper    |  at org.apache.zookeeper.server.persistence.FileTxnSnapLog.restore(FileTxnSnapLog.java:176)
zookeeper    |  at org.apache.zookeeper.server.ZKDatabase.loadDataBase(ZKDatabase.java:217)
zookeeper    |  at org.apache.zookeeper.server.ZooKeeperServer.loadData(ZooKeeperServer.java:284)
zookeeper    |  at org.apache.zookeeper.server.ZooKeeperServer.startdata(ZooKeeperServer.java:407)

一开始怀疑是zoo.cfg损坏，但查看后发现文件没有明显异常。将/opt/zookeeper-3.4.13/data/version-2目录改名为version-2.bak后重启zookeeper正常（但client连接报错 zxid 0x02 our last zxid is 0x0 client must try another server，因为前面的操作导致zk这边的事务id被重置了），说明可能是data下有文件损坏。

进一步查看version-2.bak下的文件，发现有一个0字节的log文件：

file

删除此文件并将version-2.bak改回原来的名字version-2，重启zookeeper成功，并且client连接正常。

一、Zookeeper里watch的上限

虽然zk本身没有对watch数量设置上限，但在实际场景里，由于watch数量过多导致系统资源被耗尽的情况偶有发生。

以一个实际场景为例，这个场景里有30000个设备，在zk里每个设备对应一个znode，然后有storm的topology对每个znode加上3个watch（通过curator，一个spout两个bolt），这个topology的并发是200。

计算一下总的watch数量就是30000x200x3=1800万个，按照ZOOKEEPER-1177的描述，平均每个watch占用100字节左右内存，1800万个watch大约占用1.8GB内存。这时必须相应调高zk能够使用的内存数量。

在命令行使用 “echo wchs | nc zkaddress port” 命令可以查看当前zk里watch数量，相当于先telnet到zk再发送zk提供的四字命令（完整命令列表）：

二、Impala分区数量的上限

根据Cloudera的建议（见：Impala maximum number of partitions），一个impala表最多使用10万个分区（partition），最好不超过1万个分区。

在实际场景里，假设我们想按“设备ID”和“天”对设备数据进行分类，那么当有20000台设备时，每年所需要的分区数量是20000x365=7300000个，已经大大超出了impala的限制，这时就要考虑调整分区粒度，比如从时间维度调整为每个月分一个区，从设备维度调整为将若干个设备分为一组再以组为单位分区。但无论如何，这些调整通常对业务应用是有代价，需要衡量是否能够接受。

要统计一个表有多少个分区，可以使用explain语句：

impala_partitions

要查看详细分区信息，使用show partitions mytable语句：

impala_show_partitions

三、Impala文件数量限制

（注：经过核实，此问题在通过JDBC且SYNC_DDL时出现，impala-shell里REFRESH通常不会超时）

直接修改HDFS上的文件后，需要使用Impala的REFRESH命令更新Impala元数据。当文件数量过多（例如200万个），REFRESH命令会超时。

解决方法：按Partition依次执行REFRESH命令，只要每个Partition的文件数量不多，就可以实现更新整个表的元数据。

REFRESH [db_name.]table_name [PARTITION (key_col1=val1 [, key_col2=val2...])]

四、HDFS文件数量限制

HDFS最著名的限制是namenode单点失效问题。

根据cloudera博客文章The Small Files Problem的解释，每个文件、每个目录以及每个块（block）会在namenode节点占用150字节内存，假设有一千万个文件，每个文件一个块，则总共占用20000000*150=3GB物理内存。

仍然以设备数据为例，假设我们想把每个设备的数据按天保存到hdfs文件，那么20000个设备每年产生730万个文件，三年2200万个文件，是硬件资源可以承受的数量级。但如果业务要求对设备的不同类别数据分文件存放，例如设备的高频数据与低频数据，则文件总数量还要乘以数据类型的个数，这时就必须考虑namenode物理内存是否够用。

Hortonworks根据文件数量推荐的namenode内存配置表如下（来源），可以看出1000万文件建议配置5.4GB，比前面估计的值（3GB）稍高，这应该是考虑到namenode服务器额外开销和一定冗余度的数值：

hortonworks_namenode_heapsize

使用“hadoop fs -count /”命令可以统计当前hdfs上已有文件数量，不过这个命令无法看到块的数量。

hadoop_file_count2

五、Parquet文件列数限制

Parquet是基于列的存储格式，最大优势是从文件中抽取小部分列时效率很高，同时Impala、Hive和Spark等大数据查询/分析引擎都支持它，所以不少大数据系统底层都是用parquet做数据存储。

由于parquet不支持对已有文件的修改，因此在设计系统时就要考虑文件里包含哪些列，就像为数据库设计表结构一样。值得关注的问题是，一个parquet文件里能包含的列数目是有限的，至于上限值是多少与多个因素有关，很难给出一个确切的数字。我查到的一些建议是尽量不要超过1000个列。

例如在PARQUET-222的讨论里，一个例子是假设一个parquet文件有2.6万个整数类型的列，因为每个writer至少需要64KB x 4的内存，写入这样一个parquet文件至少需要6.34GB内存，很容易超出jvm限制。

（三个月前遇到这个问题，当时没有及时记录，现在找资料又花了好几个小时，这次赶紧记下）

参考 PARQUET-222 和 PARQUET-394。

八进制

少年壮志无烟抽

标签： zookeeper

Zookeeper启动失败和解决一例

大数据系统的若干瓶颈

一、Zookeeper里watch的上限

二、Impala分区数量的上限

三、Impala文件数量限制

四、HDFS文件数量限制

五、Parquet文件列数限制