百里燊，硕士学历，曾怀揣侠客梦，却因对代码的热爱成为了一名程序员。他专注于开源时序数据库领域，热衷于与同行共同进步。联系方式为邮箱shen_baili@163.com。

Prometheus是一款当前迅速崛起的新兴监控系统。本书主要以Prometheus 2.5.0版本为基础进行介绍。全书分为11章，从Prometheus的基础入手，系统地介绍了Prometheus配置、Prometheus TSDB、scrape模块、storage模块、HTTP API接口、PromQL语句、Rule配置、Discovery、AlertManager以及Client等内容，读者阅读本书后，将会全面了解并掌握Prometheus的原理与应用，并在实际场景中进行实践。本书适合监控运维人员、Prometheus二次开发人员、Golang工程师以及时序数据库开发人员阅读。

百里燊，硕士研究生毕业，小时候想成为闯荡江湖的侠客，结果着迷于代码，最终沦为辛勤工作的程序员。目前关注各种开源时序数据库，期待与大家共同进步。

Prometheus这款新兴监控系统，全书以2.5.0版本为基础，深入浅出地讲解了其配置、TSDB、scrape模块、storage模块、HTTP API接口、PromQL语句、Rule配置、Discovery、AlertManager以及Client等关键内容。通过阅读本书，读者可以全面了解Prometheus的原理和应用，并在实际场景中运用所学知识。这本书适合监控运维人员、Prometheus开发人员、Golang工程师和时序数据库开发者阅读。



内容提要

作者和编辑在努力确保书籍内容准确性的同时，也欢迎读者反馈勘误信息。读者可以通过异步社区提交勘误，提交后经审核确认即可获得积分奖励。此外，还提供了联系邮箱，用于读者提出疑问、建议或合作意向，包括批量购买图书、打击盗版行为等。异步社区作为一个IT专业图书社区，致力于提供优质出版服务，读者可以在这里找到各种精品IT技术图书和相关学习资源。



资源与支持

”

本章节主要探讨了时序数据库与监控系统，其中涉及了InfluxDB、Graphite、OpenTSDB、Open-Falcon等系统。InfluxDB凭借其读写性能和丰富的接口以及类SQL查询功能广受欢迎，但高级功能如高可用性和集群方案需额外付费。Graphite适用于硬件配置较低的企业级监控，但查询接口较为简单，不支持类SQL查询。OpenTSDB基于HBase存储，逻辑模型与Prometheus相似，但依赖复杂且不支持类SQL查询。Open-Falcon在中国互联网企业中应用广泛，但面临磁盘I/O瓶颈和历史数据保存时间短的问题。

文中还介绍了Prometheus的架构，包括数据收集、持久化处理、查询和告警等功能，并提供了安装和源码环境搭建的指导。导入Prometheus Server代码至Goland的过程涉及使用go get命令，并在Goland中配置相关参数。通过Grafana的Web UI，用户可以添加Prometheus作为数据源，创建自定义仪表板，并使用PromQL语句查询时序数据。Grafana的安装和配置方法，以及如何添加数据源和创建仪表板也在文中详细阐述。

章节重点围绕Prometheus在监控领域的应用，对比了其他时序数据库的特性和优缺点，并概述了Prometheus的核心架构和关键组件。此外，详细介绍了Prometheus的安装、源码环境搭建及与Grafana的集成，为深入理解Prometheus原理打下基础。

第1章 Prometheus基础入门

Prometheus配置文件中各个关键配置项的功能。首先，global部分定义了全局配置，如抓取间隔、超时时间和Rule计算周期等。每个job配置都可以覆盖这些全局设置。接着，scrape_config部分详细介绍了job配置，包括自定义抓取周期、超时时间、抓取地址、http参数等。此外，静态配置和文件服务发现也被涵盖。Rule配置部分说明了Recording Rule和Alerting Rule的使用，用于预计算复杂PromQL语句和告警判定。AlertManager配置用于设置告警通知的相关信息。最后，远程存储配置解决了单机存储限制问题，支持将数据存储到远程数据库中。



第2章 Prometheus配置详解

Prometheus TSDB是用于存储时序数据的系统，它通过目录结构来管理数据块，每个数据块包含Chunk文件、元数据文件和索引文件。该系统将数据写入内存块，并定期将数据同步到磁盘。以下是对其压缩机制、数据写入流程、文件存储结构和内存映射的详细说明。

### 压缩机制
Prometheus TSDB实现了timestamp和value的压缩。timestamp压缩通过xorAppender.Append方法实现，而value压缩则通过writeVDelta方法进行。该方法计算两个时序点的差异，并通过XOR运算生成差值，然后根据前后0的个数进行压缩存储，从而提高数据存储效率。

### 数据写入流程
数据写入涉及vDelta计算，判断是否写入新数据。xorIterator结构体，作为Iterator接口的唯一实现，负责从Chunk中读取时序点，并处理压缩和差异更新。Pool结构体用于内存中的XORChunk实例池，通过sync.Pool实现对象重用。ChunkWriter接口负责将时序数据写入磁盘，而Meta结构体记录Chunk实例的元数据信息。

### 文件存储结构
Prometheus TSDB在磁盘上的文件结构包括block目录、index文件和meta.json文件。chunk目录下的segment文件存储格式包括文件头、时序数据和CRC32校验码。chunks.Writer结构体负责实现数据写入磁盘，包括NewWriter函数、WriteChunks方法和cut方法。ChunkReader接口及其实现用于读取时序数据，chunks.Reader则描述了其结构和初始化过程。最后，mmap用于将文件映射到内存，提高数据处理效率。

### 内存映射
在Go语言中，通过mmap系统调用将文件映射到内存。OpenMmapFile函数将文件内容映射到内存，并存储在bs切片中。Reader类的Chunk方法用于查找并读取时序数据，填充到Chunk实例中，并返回。Reader类的Close方法则负责关闭所有涉及的segment文件。

3.2 时序数据存储

Prometheus的Label组件，它通过Key/Value组合来确定时序和时序中的点。Label和Labels结构体用于存储和操作Label，提供了排序、转换、匹配等功能。同时，介绍了Matcher接口及其四种实现：EqualMatcher、regexpMatcher、PrefixMatcher和notMatcher，用于匹配Label的Value值以过滤时序数据。最后，通过Selector类型别名和Matches方法实现了多个Matcher的组合过滤。



3.3 Label组件

WAL日志是数据库确保数据完整性的关键方法。随着硬盘技术的进步，顺序写入比随机写入效率更高，因此，许多存储系统通过写缓存和定期刷新来提高性能。但数据写入内存未及时更新到磁盘时，系统崩溃可能导致数据丢失。为解决这一问题，系统在数据写入内存的同时，将操作记录到WAL日志文件中，并确保其顺序写入。一旦发生系统崩溃，系统重启后会扫描WAL日志文件，恢复内存数据，确保数据不丢失。

Prometheus TSDB的WAL日志系统详细介绍了其核心组件、初始化过程以及日志写入。其中，WAL结构体是核心，负责管理多个Segment文件，完成读写及切分等基础操作。初始化过程中，系统会创建WAL实例，并根据当前状态打开或创建Segment文件。在WAL日志写入时，系统会先计算当前page及Segment文件的剩余空间，然后根据Record大小和位置决定写入方式，确保数据完整性。

WAL在Prometheus TSDB中用于确保数据持久化。它包括Segment文件、actorc通道、run goroutine等关键部分。Segment文件用于存储page数据，run goroutine负责监听actorc通道，执行刷新和关闭Segment文件的函数。WAL.flushPage方法负责将内存中的page数据写入Segment文件，并尝试清空该page。WAL.run方法则监听actorc和stopc通道，控制Segment文件的刷新和关闭。此外，WAL还提供了Truncate方法用于清理旧的Segment文件，以及Reader和RecordReader接口用于读取WAL日志。如果Segment文件损坏，WAL.Repair方法可以尝试恢复其中的数据。

Prometheus TSDB中的Record类型及其在Segment文件读写过程中的应用。Record有四种类型，包括不合法类型、时序类型、时序点类型和tombstone类型。RecordDecoder负责对Record进行反序列化，根据类型调用相应的方法处理数据。通过RecordDecoder可以解析出时序编号、Label集合、时序点的时间戳和值等信息，为Prometheus的数据存储和处理提供支持。

3.5 WAL日志

Prometheus TSDB在处理时序数据删除时采用的“标记删除”策略。这种策略不是直接从Chunk文件中删除数据，而是将删除信息记录到tombstones文件中。在后续的压缩操作中，会读取tombstones文件，真正删除标记的数据。查询时序数据时，也会参考tombstones文件来过滤已删除的数据。tombstones文件通过Stone结构体记录待删除时序的编号和时间范围，并支持添加和合并时间范围。读写tombstones文件的过程涉及到TombstoneReader接口和memTombstones结构体，其中memTombstones作为缓存，提供了高效的读写操作。通过这种方式，Prometheus TSDB将物理删除操作推迟到压缩阶段，提高了性能。



3.6 tombstones文件

Prometheus TSDB在处理时序数据时的WAL日志管理机制。为了防止数据丢失，Prometheus在写入或删除数据时会先记录到WAL日志文件。然而，随着数据的不断积累，WAL日志文件也会持续增长，可能导致磁盘空间浪费和恢复时间延长。为了解决这个问题，Prometheus采用了Checkpoint机制，通过压缩和清理无用的WAL日志，既节省了磁盘空间，又缩短了系统恢复时间。Checkpoint机制涉及多个步骤，包括查找、读取、筛选、写入和删除日志文件，确保只有有用的数据被保留。



3.7 Checkpoint

Prometheus TSDB如何将时序数据存储到磁盘上的block目录。每个block目录下包含时序数据的核心文件，如Chunk文件、index文件和tombstones文件，还有一个meta.json文件记录元数据。Block结构体是block目录在内存中的抽象，包含各种字段和方法，如OpenBlock用于初始化Block实例，BlockReader接口定义了读取不同文件的方法。Block实例还提供了Delete方法删除指定范围的时序数据，并更新相关文件。此外，Block结构体还实现了CleanTombstones方法，负责清理已删除的时序数据。



3.8 Block

Prometheus TSDB采用了独特的压缩机制，旨在提升查询效率并降低存储需求。该机制主要分为几个步骤：首先，通过LeveledCompactor.Plan()方法制定压缩计划，并选择合适的block目录进行压缩；然后，LeveledCompactor.Compact()方法将这些block目录压缩成更大时间跨度的block目录，同时更新元数据、压缩Chunk文件和重写index文件。

LeveledCompactor.selectDirs()方法负责根据压缩层级筛选出可压缩的block目录分组，splitByRange()函数则负责将block目录分组。压缩完成后，新的block目录将替换原始的block目录，从而提高查询效率。

压缩Block的关键步骤包括创建Block实例、读取元数据、生成唯一标识UID以及计算压缩后元数据。LeveledCompactor.write()方法中的核心功能是populateBlock()方法，它负责处理时序数据的压缩。populateBlock()方法首先遍历待压缩的Block，读取索引文件和Symbol Table，为每个Block创建compactionSeriesSet实例，并使用compactionMerger合并它们。随后，将合并后的时序数据写入压缩后的Block目录，并更新元数据和释放Chunk实例。在这个过程中，确保时序数据的完整性，并高效地管理内存和资源。

在block目录压缩过程中，MemPostings组件在内存中维护了Label与时序编号的映射关系，并在压缩各个时序时调用Add方法记录映射。EnsureOrder方法用于确保时序编号有序，以便后续操作。Get和Iter方法提供了查询功能。deletedIterator组件则用于迭代Chunk中的时序数据，过滤掉已删除的时序点，保证只返回未被删除的数据。这两个组件在block压缩过程中扮演着重要角色，确保了数据的准确性和完整性。

整个压缩过程中，LeveledCompactor.Plan()方法负责制定压缩计划，选择合适的block目录进行压缩；LeveledCompactor.Compact()方法将这些block目录压缩成更大时间跨度的block目录，同时更新元数据、压缩Chunk文件和重写index文件；LeveledCompactor.selectDirs()和splitByRange()方法负责筛选和分组可压缩的block目录；LeveledCompactor.write()方法中的populateBlock()负责处理时序数据的压缩；MemPostings组件负责维护Label与时序编号的映射关系，deletedIterator组件负责过滤掉已删除的时序点。这些步骤共同确保了Prometheus TSDB的压缩机制能够高效、准确地处理数据。

3.9 压缩

在Prometheus TSDB中，“Head”指的是内存中用于存储最近时序数据的结构。它是一个内存窗口，通常覆盖2小时的数据，以便快速读取。Head的核心组成部分是`memSeries`，它负责维护时序数据，包括唯一的ID、标签集合和时序点的存储。

写入时序数据时，首先创建`headAppender`实例，通过`Add`方法写入数据。如果数据不存在，则创建并记录WAL日志。在写入过程中，会记录时间戳的最大和最小值，并在提交时将WAL日志持久化，然后通过`Commit`方法将数据写入`memSeries`实例。若写入失败，可以通过`Rollback`方法撤销操作。

读取数据时，通过`Head.Chunks`方法获取`memSeries`实例，再从实例中获取相应的`memChunk`。删除数据时，Head会根据时间范围和Matcher确定待删除的时序，并创建Tombstones实例写入WAL日志。

在清理数据方面，Head的`gc`方法负责清理过期的时序数据，重建索引信息。`Head.Truncate`方法是对`gc`方法的封装，同时创建新的Checkpoint文件。

3.10 Head

Prometheus的TSDB是其核心组件，主要负责整合各个功能模块。它管理文件目录、锁文件、配置选项和资源池，同时负责WAL日志、Head窗口和block目录的管理。在初始化时，DB会创建目录、处理旧版本文件、设置锁文件、创建压缩器、WAL和Head实例，并加载现有block目录。重载方法会扫描block目录，创建Block实例，并删除过期或损坏的目录，确保TSDB稳定运行和数据有效管理。

数据库组件DB的核心操作包括处理可删除的block目录、判断block目录是否可保留、创建Block实例、初始化Head窗口、回放WAL日志以及定期触发压缩操作。Querier接口通过不同的方法支持查询时序数据，包括按Label查询、获取Label值和关闭Querier实例。此外，详细分析了WAL日志回放过程中的“生产者-消费者”模型，以及每个worker goroutine如何处理分区的WAL日志，确保高效的数据处理和更新。

Querier接口有两种实现：blockQuerier和未实现的LabelValuesFor。blockQuerier专注于查询特定block目录下的时序数据，通过读取index、chunks和tombstones文件，实现LabelValues查询。它包含LabelValues和Select方法，后者基于labels.Matcher进行时序过滤。Select方法的核心是postingsForMatcher函数，用于查找匹配的时序编号。文章还介绍了Postings接口的三个实现：removedPostings、mergedPostings和intersectPostings，以及PostingsForMatchers函数，用于获取匹配所有Matchers的时序。LookupChunkSeries函数将时序封装成baseChunkSeries实例，populatedChunkSeries实例则负责从Chunk文件中读取时序数据。

时序数据的查询、删除和写入操作如下：首先，通过blockQuerier和querier结构体，实现了对时序数据的查询，包括过滤、迭代和合并操作。然后，通过DB结构体，实现了删除操作，包括清理墓碑和删除指定时间范围内的时序数据。最后，通过DB.Appender方法，实现了时序数据的写入操作，并在适当的时候触发压缩操作。在这个过程中，涉及到多个结构体和方法，如blockSeriesSet、mergedSeriesSet、chunkSeriesIterator等，共同构成了一个高效、可靠的时序数据处理框架。

3.11 DB

Prometheus TSDB模块，这是Prometheus的核心组件。本章详细剖析了其理论基础、工作原理和核心代码实现，包括数据压缩、磁盘组织、索引机制、WAL日志和删除策略等。通过深入分析，展示了如何高效存储和查询时序数据，并介绍了内存中的Head窗口以及对外接口DB结构体。本章旨在帮助读者全面理解Prometheus TSDB的运作机制，为后续学习和开发打下基础。



3.12 本章小结

第3章 深入Prometheus TSDB

Prometheus Server如何配置抓取监控数据的目标信息。用户可以通过配置文件中的“scrape_configs”部分，指定抓取的目标URL和交互协议。Prometheus Server还可以通过服务发现组件动态获取目标信息。在抓取监控数据的过程中，会涉及多个关键字段，如抓取时间、耗时、在线状态等。同时，还介绍了Target结构体中的三个核心方法：URL方法确定抓取监控数据时使用的URL地址，report方法更新最近一次抓取的状态信息，offset方法计算Prometheus Server启动多长时间后第一次从目标处抓取监控数据。



4.1 Target

scraper接口，它是用于从Target抓取监控数据的核心方法，包括从Target抓取时序数据、更新抓取状态和计算抓取时间偏移。targetScraper作为scraper接口的唯一实现，内嵌Target并实现了report和offset方法。targetScraper通过发送HTTP请求抓取时序数据，并根据响应是否压缩来处理数据。



4.2 scraper接口

Prometheus Server的loop接口是定期抓取监控数据并存储到底层存储的关键组件。该接口包含两个方法：run和stop。run方法负责周期性抓取数据，而stop方法用于停止loop实例。唯一实现该接口的是scrapeLoop，它与targetScraper接口和Target一一对应。

scrapeLoop利用buffer池和scrapeCache等组件来处理数据抓取和存储。Pool组件管理buffer缓冲区，而scrapeCache组件则记录时序数据的元数据。在run方法中，会周期性地调用scrapeLoop.scrape方法从Target抓取监控数据，并通过append方法将数据写入底层存储。

抓取到的时序数据通过append()方法写入底层存储。此方法将数据追加到存储系统中，确保数据的连续性和完整性。此外，sampleMutator字段允许调整写入时序的Label集合，以适应不同的存储需求。

relabel()函数根据RelabelConfig中指定的Action类型处理Label。这包括重命名、删除或保留Label。处理过程中，如果遇到Label冲突问题，relabel()函数将根据Action类型进行相应的处理，确保Label的唯一性和正确性。

report()方法用于更新抓取周期的时间戳和处理时序的耗时，并记录相关监控。这有助于监控系统性能和抓取周期的一致性。

总结来说，scrapeLoop通过run方法周期性地抓取数据，并利用append()方法将数据写入底层存储。sampleMutator字段允许调整Label集合，而relabel()函数处理Label冲突问题。最后，report()方法更新时间戳和耗时，记录监控信息。这些功能共同保证了Prometheus Server的监控数据抓取和存储的稳定性和准确性。

4.3 loop接口

Prometheus Server通过scrapePool机制高效管理多个Target的抓取工作。每个targetgroup.Group对应一个scrapePool，该Pool负责初始化HTTP客户端、缓冲池等基础组件，并创建多个scrapeLoop实例。每个scrapeLoop负责从特定Target抓取时序数据。

当targetgroup.Group信息发生变化时，scrapePool会同步更新。对于新增的Target，scrapePool将创建新的scrapeLoop，并启动goroutine执行抓取任务。同时，废弃的Target对应的scrapeLoop会被停止，确保高效稳定地收集数据。

在配置文件重载机制方面，当配置文件发生变化时，scrapePool会调用reload方法。此方法首先更新HTTP客户端和抓取配置，然后遍历所有scrapeLoop。对于每个scrapeLoop，使用新配置创建新的targetScraper和scrapeLoop实例。在重启旧scrapeLoop的同时，启动新的scrapeLoop，确保使用新配置进行数据抓取。整个过程通过WaitGroup同步，确保所有scrapeLoop更新完成。

4.4 scrapePool

Prometheus Server中的Manager结构体，它负责管理targetgroup.Group实例和对应的scrapePool。Manager维护着抓取配置、目标组集合和抓取池集合，并能够根据目标组集合的更新动态调整抓取行为。它通过后台goroutine和定时器机制，定期检查配置变化，并触发重新加载操作，确保抓取任务的正确执行。此外，Manager还能在配置文件更新时，自动关闭已删除的目标组对应的抓取池，并在配置变化时重启相应的抓取池，确保系统的稳定性和数据的准确性。



4.5 Manager

Prometheus Server中的scrape模块，它是抓取时序数据的关键组件。模块根据配置周期性抓取数据，并执行Relabel操作。本章详细介绍了抓取目标的结构体、抓取接口以及周期性抓取的流程。此外，还阐述了如何对抓取目标进行分组管理，以及scrape.Manager如何管理scrapePool实例和监听配置变化。



4.6 本章小结

第4章 scrape模块详解

Prometheus Server的storage模块，它主要处理本地存储和远程存储的封装和适配。模块中包含storage.Appender、Storage和Querier三个核心接口，分别负责写入时序数据、存储管理和查询时序数据。本地存储和远程存储通过适配器进行转换，以实现与Storage接口的兼容。模块还提供了fanout等结构体，将本地和远程存储整合，并对外提供统一接口。此外，模块还使用了装饰器如timeLimitAppender和limitAppender来增强Appender功能，以及mergeQuerier、mergeSeriesSet等组件来合并查询结果，提供更加丰富的查询功能。



第5章 storage模块

Prometheus Server提供了两种PromQL查询接口：“/api/v1/query”和“/api/v1/query_range”，它们支持执行PromQL查询语句。PromQL支持四种数据结构：瞬时向量、范围向量、标量和字符串。瞬时查询用于获取特定时间点的时序数据，而范围查询则用于查询时间范围内的数据。这些接口的返回结果以JSON格式呈现，并支持多种HTTP参数以满足不同查询需求。同时，还提供了一个时序元数据查询接口“/api/v1/series”，允许用户根据特定条件查询指定时间段的时序信息。

Prometheus Server的HTTP API V1版本功能丰富，用户可以通过API执行PromQL语句、查询时序元数据、根据Label Name查询Label Value、获取Target和Rule信息。此外，API还支持简单的Admin接口，如删除时序数据和进行数据库备份。这些接口为用户提供了便捷的方式来管理和查询Prometheus的数据。

PromQL查询接口主要包括“/api/v1/query”和“/api/v1/query_range”，它们是执行PromQL查询语句的主要途径。PromQL支持四种数据结构：瞬时向量、范围向量、标量和字符串。瞬时查询用于获取特定时间点的时序数据，而范围查询则用于查询时间范围内的数据。这些查询接口的返回结果以JSON格式呈现，并支持多种HTTP参数以满足不同查询需求。

时序元数据查询接口“/api/v1/series”允许用户根据特定条件查询指定时间段的时序信息。这个接口为用户提供了方便的方式来查询和管理Prometheus的时序数据。

Prometheus Server的HTTP API V1版本提供了丰富的功能。用户可以通过API执行PromQL语句，查询时序元数据，根据Label Name查询Label Value，获取Target和Rule信息。此外，API还支持简单的Admin接口，如删除时序数据和进行数据库备份。这些接口为用户提供了便捷的方式来管理和查询Prometheus的数据。

在API V1版本中，用户可以执行PromQL语句来查询时序数据，通过指定不同的参数和条件，可以获取到所需的数据。同时，API还支持查询时序元数据，包括Target和Rule信息，方便用户了解系统的运行状态和配置情况。

此外，API还提供了简单的Admin接口，允许用户进行时序数据的删除和数据库备份等操作。这些功能使得用户可以轻松地管理和维护Prometheus Server。

总的来说，Prometheus Server的HTTP API V1版本为用户提供了强大的查询和管理功能，使得用户可以方便地获取和操作Prometheus的数据。通过使用这些接口，用户可以更好地了解系统的运行状况，及时发现和解决问题。

第6章 HTTP API接口

Prometheus中的核心模块promql，它负责处理PromQL查询语句。Engine结构体是这个模块的入口，负责执行查询并管理查询的生命周期。它记录了查询的监控信息，包括并发查询数、查询排队和执行时间等。Engine使用词法分析和语法分析器将PromQL语句解析成抽象语法树（AST），并通过Statement接口进行进一步处理。不同的Statement实现对应不同的PromQL语句类型，如EvalStmt用于执行查询，RecordStmt和AlertStmt用于执行Recording Rule和Alerting Rule。Engine通过exec方法执行查询，并监控查询的执行情况，确保并发查询不会超过上限。



7.1 Engine引擎

execEvalStmt方法中的populateSeries方法，它主要完成三个操作：调整查询时间、创建与存储模块交互的实例、执行查询并记录结果。此方法使用VectorSelector和MatrixSelector进行查询，其中VectorSelector用于指标名称、偏移量和Label过滤条件。MatrixSelector则多了时间范围字段。populateSeries方法会根据AST调整时间，初始化Querier实例，遍历AST执行查询，并将结果记录到节点中。



7.2 查询数据

Prometheus查询语言（PromQL）的解析和执行涉及抽象语法树（AST）的构建和Engine引擎中的计算流程。该流程首先创建evaluator实例，并记录查询的时间范围和间隔。然后，通过eval()方法，结合AST和时序数据计算结果。

在eval()方法中，根据不同表达式节点类型（如AggregateExpr、Call、ParenExpr等），执行相应的计算逻辑。VectorSelector节点用于将时序数据转换为Matrix实例，而AggregateExpr节点则负责处理聚合函数。

rangeEval()方法是处理PromQL语句的核心，负责递归处理子表达式，循环处理每个时间步的时序点，最终返回Matrix实例。

Prometheus中聚合函数的处理包括参数解析、时序点遍历、分组计算和结果创建。以sum函数为例，它首先解析参数，遍历时序点，计算分组标识，查询分组是否存在，不存在则创建groupedAggregation实例，并将时序点添加进去。topk函数涉及堆的使用，将时序点放入堆中排序。

二元运算符处理涉及VectorBinop方法，它通过signatureFunc函数获取签名函数，计算Vector中时序的签名，遍历Right Vector，为每个时序计算签名并记录到rightSigs集合中。然后遍历Left Vector，计算签名，在rightSigs集合中查找匹配点，进行二元运算并保存结果。

当两个数值常量参与运算时，调用rangeEval和scalarBinop方法。数字与向量运算时，通过VectorscalarBinop方法实现。两个向量之间的二元运算，根据运算符类型调用VectorAnd、VectorOr和VectorUnless等方法。

此外，Call节点和ParenExpr节点在evaluator.eval方法中的处理逻辑，以及timestamp特殊函数的处理也被介绍。

7.3 执行流程

Prometheus Server中promql模块的核心内容，包括如何解析PromQL语句并构建抽象语法树。详细讲解了不同类型的表达式节点，如VectorSelector、MatrixSelector、AggregateExpre、BinaryExpr等，以及它们在处理时序数据和执行聚合函数中的具体作用。通过深入分析Engine引擎如何递归处理这些节点，揭示了PromQL语句执行的原理，帮助读者更高效地编写PromQL语句。



7.4 本章小结

第7章 PromQL语句详解

Prometheus Server通过加载Rule配置文件，将每条配置解析为对应的Rule实例，并根据Rule类型转换为rules.Group和rules.Rule实例。Manager组件管理这些Rule，通过Update方法加载和解析配置，并在启动时启动Group实例。Group实例周期性地执行Eval方法，遍历Rule实例，执行PromQL查询，将结果写入存储或发送告警。

Recording Rule通过PromQL语句获取时序数据，并添加或修改Label信息。Alerting Rule则检测是否达到告警条件，并将符合条件的告警信息发送到AlertManager集群。告警状态会根据持续时长和状态转换规则进行更新。当告警触发时，相关告警信息会被发送到AlertManager，并通过notifier.Manager组件进行分发处理。

在Prometheus Server中，Rule模块包括Recording Rule和Alerting Rule，在内存中进行配置抽象。rules.Manager负责管理这些Rule实例，并加载配置文件。Record Rule用于记录监控数据，Alerting Rule用于生成告警信息。notifier模块负责将Alerting Rule产生的告警信息发送到AlertManager集群，而AlertManager则负责发送具体的告警通知。

具体来说，Prometheus Server加载Rule配置文件后，解析为Rule实例，并根据类型转换为Group和Rule实例。Manager组件管理这些Rule，加载配置并在启动时启动Group实例。Group实例周期性地执行Eval方法，遍历Rule实例，执行PromQL查询，并将结果写入存储或发送告警。

Recording Rule通过PromQL语句获取时序数据，并添加或修改Label信息。Alerting Rule检测是否达到告警条件，并将符合条件的告警信息发送到AlertManager集群。告警状态会根据持续时长和状态转换规则进行更新。当告警触发时，相关告警信息会被发送到AlertManager，并通过notifier.Manager组件进行分发处理。

在Prometheus Server中，Rule模块包括Recording Rule和Alerting Rule，负责记录监控数据和生成告警信息。rules.Manager管理这些Rule实例，并加载配置文件。notifier模块负责将Alerting Rule产生的告警信息发送到AlertManager集群，AlertManager则负责发送具体的告警通知。

第8章 Rule详解

文件服务发现通过file.Discovery组件和fsnotify库，实现了对文件修改事件的监听，并实时更新配置信息。当文件被修改或定时器到期时，系统会重新读取文件内容，解析为targetgroup.Group集合，并通过Channel发送给外部模块。discovery.Manager负责管理多个Discoverer实例，它是discovery模块与外部模块之间的桥梁。通过ApplyConfig方法，Manager创建Discoverer实例和provider实例，并启动多个goroutine来处理target信息的变化和发送。

Prometheus Server的启动流程涉及初始化核心模块并协调它们的工作。首先，初始化命令行参数和配置实例，然后依次初始化storage模块、web模块、notifier模块、discovery模块、scrape模块、promql引擎和rules模块。在初始化过程中，创建了group.Group实例，并添加多个actor操作以并行执行。启动流程包括监听关闭事件、配置变更监听、启动TSDB存储、初始化配置监听和启动核心模块。在启动过程中，调用reloadConfig函数重载prometheus.yml配置文件，并更新各个模块的配置。

第9章 Discovery分析

AlertManager V1版本API接口的注册和使用，重点关注了接收告警的接口。该接口由API.addAlerts方法支持，负责接收Prometheus Server发送的告警信息，并将其存储。API.insertAlerts方法则负责处理告警信息，包括调整时间戳、检测合法性，并将有效告警信息写入存储。



10.1 接收告警

AlertManager配置文件中的接收者设置，通过配置文件定义多种告警通知接收方式，如邮件、Webhook、微信等，这些配置在启动时被解析并记录。AlertManager API提供了查询接收者配置的接口，通过该接口可以获取所有接收者的名称信息。



10.2 查询Receiver

Alert Provider模块，这是AlertManager中负责存储告警信息的核心组件。它通过一个名为provider.Alerts的接口提供功能，包括订阅告警信息、获取等待发送的告警以及根据指纹获取特定告警。Alert Provider默认使用基于内存的存储实现，即mem.Alerts，该实现包含一个用于存储告警信息的map和一个定期清理已恢复报警的机制。通过Subscribe方法，可以获取告警迭代器，但它不保证告警按时间排序。在Put方法中，告警信息会被合并以避免重复，并通知所有订阅者。此外，Alert Provider还支持初始化流程，包括创建存储实例、启动后台goroutine定期清理已恢复的报警，并设置清理操作的回调函数。



10.3 Alert Provider存储

AlertManager中的Dispatcher模块，它作为告警分发器，通过订阅Alert Provider模块获取告警信息。Dispatcher的核心是Route树，用于过滤告警信息，并将匹配的告警信息分组到aggrGroup中。aggrGroup负责暂存告警信息，并定期发送。Dispatcher.run方法监听告警，处理匹配和分组，同时定期清理空闲的aggrGroup。Route.Matcher方法用于匹配告警信息，而processAlert方法负责将告警写入aggrGroup。aggrGroup.run方法定时调用flush方法，整理告警信息，并通过notify回调函数处理告警。



10.4 Dispatcher

AlertManager的核心在于其Pipeline概念，这是告警处理流程的核心，由多个Stage实例构成。每个Stage负责处理告警信息，并将其传递至下一个Stage。其中，RoutingStage、MultiStage和FanoutStage是三种关键Stage，分别用于不同告警场景。Pipeline通过Gossip协议确保集群内节点间状态同步，从而实现告警的高可用性。

在Pipeline中，GossipSettleStage负责等待集群稳定，InhibitStage用于告警抑制，SilenceStage处理静默规则，DedupStage避免重复发送告警，RetryStage负责重试发送失败的通知，SetNotifiesStage负责将告警通知发送出去。

告警抑制通过SetInhibited方法实现，将告警状态设置为抑制并记录原因。告警静默功能通过Silence配置实现，支持动态添加静默规则，符合规则的告警在一定时间内不会发出通知。Silence配置通过HTTP API接口添加，并暂存到Silence Provider中。Silences结构体用于存储静默配置，支持查询和更新操作。

AlertManager的核心功能包括Silence配置的读写、SilenceStage的告警静默功能、DedupStage的告警通知去重以及RetryStage的告警通知重试。Silence配置通过Query方法查询，SilenceStage根据Label信息查询Silence配置并修改报警状态，DedupStage通过NotificationLog检测告警是否已发送，RetryStage在发送失败时进行重试。

在告警通知发送过程中，RetryStage.Exec()方法通过调用Integration.Notify()方法实现。该方法基于Notifier接口实现，Webhook是常见实现之一，允许第三方应用监听特定事件并通过HTTP POST方式触发。Webhook的具体实现包括生成最终告警通知内容、序列化并调用指定URL发送，最后根据HTTP响应码决定是否重试。

SetNotifiesStage是Pipeline处理流程的最后一环，负责将发送日志写入本地NotificationLog并传播至集群其他节点，以避免重复告警消息。

10.5 Pipeline

AlertManager集群如何通过Gossip协议实现状态同步。AlertManager利用HashiCorp公司的memberlist库来简化Gossip协议的实现。该库被多个HashiCorp产品使用，包括consul服务发现组件。集群模块通过定义cluster.Peer结构体来抽象每个节点，并在启动时为每个节点创建实例。通过API接口新增Silence配置时，会将其传播到集群中的所有节点。此外，节点加入集群时，会同步Silence Provider和NotificationLog中的数据，并定期通过广播机制将信息传播给其他节点，确保集群状态的一致性。在这个过程中，使用UDP协议和memberlist库来发送和接收数据，确保集群的稳定运行。



10.6 cluster模块简析

本章对Prometheus生态中的告警项目AlertManager进行了详细解析。首先阐述了AlertManager的核心架构和功能模块，包括告警信息的接收接口和存储机制。接着，深入分析了告警信息的分发、处理流程以及各阶段的实现，如抑制、静默、去重和重试等。最后，本章还简要介绍了AlertManager的集群模块和Gossip协议的同步机制。通过本章的学习，读者可以更深入地理解AlertManager的运作原理，为实际应用打下坚实基础。



10.7 本章小结

第10章 深入AlertManager

Prometheus Client中的四种数据类型：Counter、Gauge、Histogram和Summary。Counter用于记录累加数据，如任务数量或错误数；Gauge用于记录瞬时值，如CPU使用情况；Histogram用于统计数据分布，帮助分析系统响应能力；Summary则计算分位数，提供更精确的数据概览。这些类型各有特点，适用于不同场景的数据监控和分析。



11.1 数据类型

Prometheus客户端的核心在于Gauge类型的指标实现。文中通过实例详细介绍了Gauge指标的定义与使用，包括无标签和带标签两种情况。同时，深入解析了Desc实例、Metric和Collector接口的定义与实现，着重分析了Gauge接口和gauge结构体，阐述了如何通过原子操作更新Gauge指标的值。此外，还介绍了GaugeVec类型指标，并重点阐述了metricMap结构体在GaugeVec中的关键作用，以及如何通过hashLabels和getOrCreateMetricWithLabels等方法管理不同的标签组合。整个分析过程循序渐进，揭示了Prometheus客户端内部指标处理的核心逻辑。

文中提到的`findMetricWithLabels`函数，旨在在`metrics`数组中寻找与给定`labels`匹配的`metricWithLabelValues`实例。该函数通过遍历`metrics`，使用`matchLabels`检查每个`metric`是否满足条件，若找到匹配项，则返回其下标。

另外，`metricMap`类型实现了`Collector`接口，包括`Describe`和`Collect`方法，分别用于输出`Desc`实例和`Metric`实例。除此之外，`metricMap`还提供了删除`Metric`的功能。

11.2 核心实现

Gauge指标在Prometheus监控系统中的使用方法，强调指标注册的重要性。通过Registerer接口和Registry结构体实现指标的注册和收集，其中Registry负责记录所有注册的Collector实例、Desc的ID以及Desc.fqName到Desc.dimHash的映射关系。Registry的Register方法详细描述了注册过程，包括处理Desc实例、检查重复注册和异常情况等。此外，Registry的Gather方法则用于触发监控数据的计算，通过启动多个goroutine并行处理不同Collector的收集任务。最后，processMetric函数将prometheus.Metric实例转换为dto.Metric实例，为后续的序列化做准备。



11.3 Registerer

Prometheus Client如何监听本地“localhost:8888/metrics”地址，响应Prometheus Server的抓取请求。通过promhttp.Handler()函数，不仅返回http.Handler实例，还为“/metrics”接口添加了基本监控。在InstrumentMetricHandler()函数中，创建了两个监控指标，分别记录总的HTTP请求数和当前正在处理的HTTP请求数。通过InstrumentHandlerInFlight()和InstrumentHandlerCounter()函数，修饰后的http.HandlerFunc能够更新相应的监控指标。此外，HandlerFor()函数定义了处理HTTP请求的http.Handler，并实现了限流逻辑。



11.4 Handler

Prometheus客户端提供了三种指标类型：Counter、Histogram和Summary。Counter通过Inc和Add方法来增加指标的值，支持浮点型和整型记录。Histogram通过Observe方法将数据记录到分区，并使用Write方法输出数据。Summary类型则用于计算分位数，并通过Stream环形队列处理数据。这三种类型都采用双Buffer设计来提升并发处理能力。

在Go语言中，goroutine被用来将监控数据写入流中。特别地，`flushColdBuf`方法实现了缓冲区的遍历、数据写入和统计信息的更新。`Write`方法则负责缓冲区的切换，将数据写入流，并计算分位数等统计值，最后将结果封装成对象返回。

`flushColdBuf`方法的核心是遍历缓冲区，将数据写入并更新统计信息。而`Write`方法则涉及缓冲区的切换和数据写入，同时进行分位数等统计值的计算。

Prometheus客户端还包含四种数据类型，包括Counter、Gauge、Histogram和Summary。这些类型的核心实现和指标注册逻辑对于监控数据的处理至关重要。客户端与Prometheus服务器端的交互原理同样值得深入了解。

总结来说，Prometheus客户端提供了强大的指标类型和数据处理机制，通过goroutine和Buffer设计提升了并发处理能力。客户端的数据类型、核心实现、指标注册逻辑以及与服务器端的交互原理，共同构成了一个高效、稳定的监控解决方案。

11.5 其他指标类型

PrometheusExporter的作用，它作为Agent监听特定地址和端口，响应PrometheusServer的请求，访问第三方服务的监控接口，并转换成Prometheus格式。以node_exporter为例，它通过NodeCollector收集内存、CPU、Disk等监控信息，并通过Collectors集合记录Collector实例。启动node_exporter时，会读取命令行参数并创建Handler实例，通过NodeCollector获取服务器监控数据，并注册Collector实例。整体上，Exporter的核心原理是访问第三方服务接口获取监控数据，转换为Prometheus格式，响应PrometheusServer的抓取请求。



11.6 Exporter

Prometheus Client（Golang版本）的核心原理和实现，首先阐述了四种基本数据类型的特点和用途，以Gauge为例，深入剖析了其监控思想和核心组件。接着详细讲解了Registerer接口及其实现，并展示了Prometheus Client在抓取请求到来时如何实时计算指标值。本章还深入介绍了Counter、Histogram和Summary等三种基本类型的核心实现，并以node_exporter为例，讲解了Export组件的核心原理，旨在帮助读者深入理解Prometheus Client及其Export组件。



Prometheus技术秘笈