彭成寒是一位资深高级Java工程师，专注于风控系统设计、算法建模与大数据处理。他拥有超过10年的Java及C++开发经验，凭借丰富的技术背景，在风控领域内发挥着重要作用。

Java11版本包含一个全新的垃圾收集器ZGC，它由Oracle开发，承诺在数TB的堆上具有非常低的暂停时间。ZGC是2017年Oracle公司贡献给OpenJDK社区的，正式成为OpenJDK的开源项目。ZGC所针对的是这些在未来普遍存在的大容量内存：TB级别的堆容量，具有很低的停顿时间（小于10毫秒），对整体应用性能的影响也很小（对吞吐量的影响低于15％）。ZGC所采用的机制也可以在未来进行扩展，以支持一些令人兴奋的特性，如多层堆（用于热对象的DRAM和用于低频访问对象的NVMe闪存）或压缩堆。本书详细介绍ZGC涉及的基本概念和运行原理，以及调优方法。主要内容共9章，主要内容有：垃圾回收器概述、ZGC内存管理、ZGC线程、ZGC垃圾回收算法的设计、ZGC日志解读、ZGC参数和基准测试、ZGC的编译调试、ZGC特性总结和展望、ZGC的编译调试、Shenandoah简介等。

彭成寒，高级Java工程师，目前主要从事风控系统设计、算法建模、大数据处理等工作，有超过10年的Java和C开发经验。

垃圾回收是JVM自动管理内存和释放对象占用空间的过程。主要算法有引用计数法和可达性分析法。引用计数法通过维护计数器追踪对象引用，而可达性分析法以根集合为起点，搜索引用链确定不活跃对象。垃圾回收器分类涉及实现方式、回收方式和内存管理。串行回收、并行回收、CMS和G1等回收器原理和特点被详细阐述。G1和ZGC设计旨在解决传统回收器不足，提供高效稳定的内存回收。G1通过分区和并发回收策略实现可控停顿时间，ZGC通过并发转移和优化STW过程，达到更短停顿时间和更高内存利用率。Shenandoah回收器与ZGC类似，功能更全面。

第1章 垃圾回收器概述

计算机内存管理分为物理内存和虚拟内存两大类。物理内存指的是实际存在的内存条容量，而虚拟内存则是操作系统基于CPU寻址能力提供的虚拟空间。操作系统通过页表和内存管理单元（MMU）实现虚拟内存与物理内存的映射。当程序访问虚拟内存时，系统会检查页表，若页面已映射，则直接访问物理内存；若未映射，则通过请页机制将虚拟内存页面读入物理内存。

在多视图映射机制方面，Linux、Windows和ZGC等系统都有各自的实现方式。ZGC作为一种垃圾回收器，其内存管理机制包含物理内存管理、虚拟内存管理和对象空间分配。ZGC使用ZPhysicalMemoryManager和ZVirtualMemoryManager分别管理物理内存和虚拟内存，并通过ZMemoryManager进行实际的内存分配。在启动时，ZGC会预分配一部分内存，以提高程序执行效率。

对象空间分配由对象分配管理器负责，支持多CPU同时进行对象分配。ZGC使用页面作为缓存，优先从页面缓存分配，不足时从预分配的内存中分配，最后再创建新的页面。此外，ZGC还采用了NUMA内存分配策略，以及页面阻塞分配请求来管理内存分配。

在物理内存管理方面，ZGC通过段和页来管理物理内存，实现高效内存分配。ZGC的内存管理机制涉及以下几个方面：

1. 物理内存管理：ZGC使用ZPhysicalMemoryManager来管理物理内存。它通过预分配内存来提高程序执行效率，并使用页面作为缓存，优先从页面缓存分配。

2. 虚拟内存管理：ZGC使用ZVirtualMemoryManager来管理虚拟内存。它通过页表和MMU实现虚拟内存与物理内存的映射。

3. 对象空间分配：ZGC使用对象分配管理器来负责对象空间分配，支持多CPU同时进行对象分配。

4. NUMA内存分配策略：ZGC采用NUMA内存分配策略，以优化内存分配效率。

5. 页面阻塞分配请求：ZGC通过页面阻塞分配请求来管理内存分配，以确保内存分配的稳定性和效率。

总之，ZGC的内存管理机制在物理内存管理、虚拟内存管理和对象空间分配等方面都有独到之处，能够有效提高程序执行效率和内存分配效率。通过合理地管理物理内存和虚拟内存，以及采用先进的内存分配策略，ZGC为Java程序提供了高效、稳定的运行环境。

第2章 ZGC内存管理

ZGC（Z Garbage Collector）是一款高效的垃圾回收器，其核心运作依赖于多种线程类型，如JavaThread、CompilerThread、NameThread、VMThread、ConcurrentGCThread和GangWorker等。这些线程各司其职，包括执行Java代码、进行JIT编译以及垃圾回收等。

ZGC还引入了控制线程，如ZDirector、ZStat和ZDriver，它们通过时钟触发器、消息触发和VMThread等手段，实现对垃圾回收执行的控制。此外，ZGC还特别设计了并行工作线程和并发工作线程，旨在并行和并发地执行垃圾回收任务，以提升效率。

在ZGC的工作线程类结构中，ZWorkers扮演着工作线程管理器的角色，它负责创建并运行GangWorker线程来执行任务。ZGC定义了ZTask作为任务抽象类，所有任务都必须实现ZTask的work方法。ZWorkers中的run_parallel和run_concurrent方法接受ZTask并运行，实际是通过GangWorker线程执行的。

ZGC的垃圾回收触发时机多样，包括基于固定时间间隔、预热规则、分配速率、主动触发、阻塞内存分配请求、外部触发和元数据分配触发等。特别是基于分配速率的触发规则，它通过预测内存分配速率和垃圾回收时间，旨在避免内存溢出。

ZGC通过参数ParallelGCThreads和ConcGCThreads来控制线程数目，以实现性能优化。这样的设计使得ZGC在处理垃圾回收任务时既高效又灵活。

第3章 ZGC线程

并发垃圾回收算法的设计与实现，该算法基于复制算法，通过并发处理优化垃圾回收效率。算法主要分为标记、转移和重定位三个阶段，分别标记活跃对象、将活跃对象转移到新内存并回收旧内存、调整指向对象旧地址的指针。ZGC作为该算法的具体实现，通过地址视图切换和SATB算法实现并发处理，有效解决并发标记和转移过程中可能出现的问题。ZGC的并发处理算法包括初始化、标记、转移和重定位等步骤，通过地址视图和多视图映射技术，提高标记和转移的速度，优化垃圾回收效率。



第4章 ZGC垃圾回收算法的设计

在JVM中，垃圾回收器如CMS、G1、ZGC通过并发标记过程来管理内存。这个过程中，初始标记和并发标记两个阶段至关重要，且都需要暂停其他操作（STW）。合并这两个阶段并取消STW会导致错标和漏标问题。

初始标记的目的是确定根集合，这是垃圾回收的基础。由于初始标记需要遍历所有根对象，它必须暂停应用程序的执行，以防止在标记过程中创建或删除对象，这保证了初始标记的准确性。

ZGC的初始标记包括软引用回收、加强回收模式、TLAB和缓存信息初始化、地址映射视图初始化以及开始标记根集合等步骤。

ZGC的垃圾回收流程分为并发标记、再标记、非强根并行标记和非强引用并发标记等阶段。并发标记使用读屏障来确保对象在加载完成后进行额外处理。标记阶段统计活跃对象的个数和所占内存空间，使用ZLiveMap数据结构记录活跃信息。再标记阶段处理未标记的对象，对非强根对象进行并行标记。

在引用处理阶段，ZGC通过ZReferenceProcessor完成引用的处理，包括发现、处理和Enqueue引用等步骤。

ZGC的垃圾回收主要分为标记、转移和回收三个阶段。初始标记确定活跃对象并更新引用关系，接着是并发标记进一步确认活跃对象。转移阶段将活跃对象转移到新页面并更新地址映射，最后回收释放无效页面和物理内存。

在整个过程中，通过读屏障处理线程访问待标记对象，确保对象正确标记。在转移阶段，通过读屏障重定位转移后的对象，完成垃圾回收。

ZGC的并发标记从标记条带获取对象并记录活跃对象信息。再标记阶段处理因并发标记导致的未标记对象和部分非强根引用。非强引用处理阶段确定非强引用是否回收。最后，重置转移集，回收无效页面，选择转移集，进行初始转移和并发转移，对象地址从M0切换到Remapped。通过这些步骤，ZGC旨在高效地回收垃圾并减少停顿时间。

第5章 ZGC垃圾回收算法的实现

测试用例设计在日志学习中的应用，通过两个示例分别展示了基本信息收集和详细日志信息收集。基本信息收集简化了ZGC的日志输出，而详细日志信息收集则提供了更丰富的调试信息。文章详细解释了日志格式的含义，并通过GitHub链接提供了测试代码和日志文件，方便读者进行学习和分析。通过分析日志，可以深入了解ZGC的运行机制和垃圾回收过程。



6.2 测试用例设计

ZGC垃圾收集器的初始化信息，包括JVM版本、CPU个数、物理空间大小、是否支持NUMA、大页面支持情况、并行和并发工作线程数、内存共享对象和文件系统映射、PreTouch功能、预分配内存等。这些信息为理解ZGC的运行状态和配置提供了基础。



6.3 ZGC初始化信息

垃圾回收触发信息。垃圾回收分为预热规则、分配速率、阻塞内存分配和主动触发四种情况。预热规则触发通常在前三次，分配速率规则根据内存分配速率和剩余空间触发，阻塞内存分配则在内存不足时触发，主动触发则是根据垃圾回收周期触发。此外，元数据分配不足时也会触发垃圾回收。



6.4 垃圾回收触发信息

垃圾回收过程中各个步骤的详细信息和时间消耗。从初始标记到并发回收页面，每个阶段都详细记录了时间，并且解释了这些阶段如何影响应用程序的运行。特别关注了STW（Stop-The-World）阶段和并发执行阶段的时间，以及它们对应用程序性能的影响。同时，介绍了垃圾回收期间的系统负载、内存使用情况和垃圾回收对应用程序运行效率的影响。通过分析这些数据，可以更好地优化应用程序的性能。



6.5 垃圾回收过程中每一步的信息

垃圾回收器的工作流程包括执行垃圾回收的平均和最长时间。分析中，我们关注了垃圾回收过程中的竞争信息，如标记和转移过程中的线程竞争，以及分配等待和垃圾回收锁等待等同步等待信息。同时，我们展示了内存信息，包括内存分配速率、再标记和转移后的内存使用情况，以及内存不足和缓存页面信息等。详细介绍了垃圾回收的步骤，包括每个步骤的平均和最长时间，以及并发标记和TLAB等子阶段的统计信息，这有助于我们理解垃圾回收器的工作原理和性能表现。

在垃圾回收周期中，首先在第1步，会重置TLAB，为新周期分配内存做准备。随后在第9步，对TLAB进行重定位，将对象转移到新位置。此外，还涉及并发引用处理，包括发现、处理和入队三个步骤。在并发非强根标记阶段，系统并行标记非强根对象。STW信息中，我们展示了根集合的遍历和标记时间，以及每个根的遍历时间。最后，记录了系统中的Java线程数量，展示了过去一段时间内线程的运行情况。

具体来说，垃圾回收周期分为以下几个阶段：

1. 重置TLAB：为了为新周期分配内存，垃圾回收器首先重置TLAB。

2. 重定位TLAB：在第9步，垃圾回收器将对象转移到新位置，并对TLAB进行重定位。

3. 并发引用处理：分为发现、处理和入队三个步骤，以确保垃圾回收器在处理对象时不会影响到应用程序的运行。

4. 并发非强根标记：在这个阶段，系统并行标记非强根对象，以提高垃圾回收效率。

5. 根集合遍历和标记：在STW信息中，我们展示了根集合的遍历和标记时间，以及每个根的遍历时间，以便更好地了解垃圾回收器的性能。

6. 记录Java线程数量：最后，记录系统中的Java线程数量，以展示过去一段时间内线程的运行情况。

通过以上阶段，垃圾回收器实现了内存的回收和再利用，保证了应用程序的稳定运行。同时，通过对垃圾回收过程的详细分析，我们能够更好地理解其工作原理和性能表现，为优化垃圾回收策略提供依据。

6.6 统计信息

第6章 ZGC日志解读

ZGC（Z Garbage Collector）的参数和性能测试。ZGC引入了少量参数，其中ZMarkStacksMax、ZCollectionInterval和ZStatistics Interval是实际工作中可能需要调整的参数。文章详细介绍了ZGC的测试准备工作，包括测试环境、软件安装、Cassandra和YCSB的配置。测试结果表明，调整ZGC参数可以提高吞吐率和减少停顿时间。此外，与G1相比，ZGC在控制暂停时间方面具有天然优势，同时在14GB堆空间上，ZGC的吞吐率比G1提高了15%~20%，停顿时间减少99%。



第7章 ZGC参数和基准测试

ZGC垃圾回收器在JDK 11中的特点和限制，如不支持类回收，导致停顿时间增加。随后阐述了类回收的复杂性和实现过程，包括类加载、类加载器、InstanceKlass等概念，以及类回收的三个步骤：执行标记、引用处理和类回收。此外，介绍了ZGC的多代回收策略和优化方向，包括跨平台支持、Graal编译器支持、稳定性提升等。整个内容详细阐述了ZGC的工作原理和未来发展方向。



第8章 ZGC的发展与展望

下载OpenJDK 11源代码的方法，推荐使用Mercurial（hg）代码管理器。首先确保安装了Python，然后使用hg clone命令从指定网址克隆源代码。若下载时遇到问题，可选择下载官网提供的压缩包。此外，还可以通过GitHub链接获取源代码。



9.1 下载源代码

ZGC相关代码的概览，主要代码位于src/hotspot/share/gc/z目录下。本节以表格形式对ZGC主要源码文件进行了介绍，方便读者在研究源码时查找相关文件。



9.2 代码概览

JDK 11编译的简单过程，首先通过`configure`命令配置编译选项，如启用ZGC和调试功能，并生成编译脚本。如果依赖项有问题，需根据提示安装。然后使用`Make all`命令进行编译，整个过程大约需要20分钟。编译成功后，编译出的JDK与官网下载的版本相同，且存在大量符号表文件。通过运行`java -version`命令，可以检查编译版本是否正确。



9.3 编译JVM

在调试Java程序时，启动GDB并加载符号表是关键步骤。调试参数的设置也很重要。文章详细介绍了ZGC垃圾回收器的对象分配过程，包括ZObjectAllocator的alloc_object函数的触发，以及对象在TLAB中的分配。

垃圾回收的触发过程同样被详细阐述，其中ZCollectedHeap的collect函数负责执行垃圾回收。文章深入探讨了垃圾回收的初始标记阶段，解释了root_barrier如何对根对象进行标记，并处理内联函数的调试。

并发标记阶段的调试方法在ZMark的try_mark_object中设置断点，成功触发后，调用栈被展示出来。在调用栈中，ZMark::try_mark_object在多个文件中被调用，如zMark.cpp和zBarrier.cpp，这些文件涉及对象标记和转移操作。

在并发标记过程中，代码进入drain<ZMarkNoTimeout>和drain_and_flush<ZMarkNoTimeout>，这是处理并发标记的具体实现。整个过程中，多个线程并行执行，其中GangWorker::run_task是并行执行的核心函数。

当并发标记过程中发生重定位时，调用栈显示详细的执行路径。通过分析调用栈，可以看到ZMark::work函数在超时时间为0的情况下被调用，表明在ZGC中，标记、转移和重定位是关键操作。读者可以通过源代码中查找这些函数，进一步了解ZGC的工作原理。

GDB等工具可以用于深入探究内存状态，从而更深入地理解ZGC的运作机制。

9.4 调试ZGC

C++和Java对象布局的原理，通过比较这两种语言的实现方式，揭示了它们在多态、继承和类结构上的异同。C++通过虚函数表（vtbl）和虚指针（vptr）实现多态，每个类都有一个vtbl，存储虚函数的地址，而每个对象都有一个vptr指向对应的vtbl。Java则通过Klass对象和InstanceKlass对象来描述类和对象，InstanceKlass对象存储了类的元数据信息，如方法、成员变量等。此外，还介绍了HSDB工具在分析Java对象布局方面的应用，通过HSDB可以观察Java对象在内存中的布局，了解类的继承关系和类加载器等信息。



9.5 使用HSDB学习JVM中对象布局

Shenandoah垃圾回收器的起源和发展，它旨在降低垃圾回收的停顿时间，支持更大内存。Shenandoah借鉴了G1和ZGC的设计，实现了并发标记、转移和重定位，但算法实现上与ZGC不同，更类似于G1。它通过在对象头添加Brook pointer来实现并发，以解决并发问题。与ZGC相比，Shenandoah在并发基础上有所不同，两者在垃圾回收方面有相似之处，但在算法实现上存在差异。



10.1 概述

Shenandoah垃圾回收策略，它通过专门的线程定时判断是否需要回收，间隔时间在1到10毫秒之间。若内存有变化，间隔时间会延长至1秒；若内存无变化，间隔时间加倍但不超过10毫秒。该策略提供六种回收方式，可通过参数调整，默认为自适应模式。



10.2 Shenandoah垃圾回收策略

Shenandoah垃圾回收器，它有两种模式：一般模式和优化模式。一般模式分为初始标记、并发标记、预清理、再标记、清理、并发转移、初始重定位、并发重定位、结束重定位和再清理。优化模式则将标记和重定位阶段合并。Shenandoah还实现了遍历回收，将标记、转移和重定位合并到一个阶段。此外，Shenandoah在性能和稳定性方面有所提升，适合用于大堆内存的场景。



新一代垃圾回收器ZGC设计与实现