GeekIt

PromQL命令速查

选择器、范围向量、rate 与聚合、直方图分位数、运维常用查询、录制告警规则、HTTP API 与排错等 142 条查询

共 142 条查询 · 12 类场景 · 点击右侧图标可复制

查询 / 表达式说明复制
node_cpu_seconds_total按指标名查询,返回即时向量
node_cpu_seconds_total{mode="idle"}等值匹配标签
node_cpu_seconds_total{mode!="idle"}不等匹配,排除指定标签值
node_cpu_seconds_total{mode=~"idle|iowait"}正则匹配,正则整体锚定
node_cpu_seconds_total{mode!~"idle|iowait"}正则排除
node_cpu_seconds_total{instance="10.0.0.11:9100", mode="idle"}多标签组合,越精确查询越快
{__name__=~"node_cpu_seconds_total"}按 __name__ 匹配,尽量避免宽泛正则
{job="api"}不写指标名只按标签查,开销大需谨慎
{__name__=~"job:.*"}查全部 recording rule 指标,用于盘点规则
http_requests_total{status=~"5.."}5xx 状态码统计常用写法
查询 / 表达式说明复制
node_cpu_seconds_total[5m]取最近 5 分钟样本,只能用于支持范围向量的函数
http_requests_total[1h]1 小时范围向量
http_requests_total offset 1h取 1 小时前的值,做同比对比
rate(http_requests_total[5m] offset 1d)与昨天同一时刻对比
http_requests_total @ 1609746000固定在指定 Unix 时间点求值
http_requests_total @ start()固定在查询区间起点求值
http_requests_total @ end()固定在查询区间终点求值
http_requests_total offset -5m负偏移,查看“未来”5 分钟的数据(2.26+)
rate(metric[5m]) 的区间应至少包含 4 个样本抓取间隔 15s 时用 1m 以上窗口更稳定
查询 / 表达式说明复制
rate(http_requests_total[5m])每秒平均增长率,counter 最常用函数
irate(http_requests_total[5m])用最后两个样本算瞬时速率,更敏感也更抖
increase(http_requests_total[1h])区间内增量,等价于 rate 乘时间
delta(node_load1[5m])gauge 的区间变化量
idelta(node_load1[5m])gauge 最后两个样本的差值
deriv(node_filesystem_avail_bytes[1h])按线性回归求每秒变化率
predict_linear(node_filesystem_avail_bytes[6h], 4*3600)预测 4 小时后剩余空间,<0 即要满
avg_over_time(node_load1[10m])区间平均值,平滑毛刺
max_over_time(node_load1[10m])区间最大值,评估峰值
sum_over_time(increase(http_requests_total[1m])[1h:1m])子查询把区间增量再累加
count_over_time(up[5m])区间样本数,可判断抓取是否中断
quantile_over_time(0.95, request_duration_seconds[10m])区间分位数
resets(process_start_time_seconds[1h])counter 重置次数,判断重启
changes(process_start_time_seconds[1h]) > 0进程启动时间变化,等价于重启检测
last_over_time(up[10m])取区间最后一个样本,避免瞬时无数据
present_over_time(up[10m])区间内存在样本则返回 1
查询 / 表达式说明复制
sum(rate(http_requests_total[5m]))全局求和
sum by (job) (rate(http_requests_total[5m]))按 job 分组求和,最常用形式
sum without (instance) (rate(http_requests_total[5m]))去掉 instance 标签后求和
avg by (instance) (rate(node_cpu_seconds_total{mode="idle"}[5m]))按实例求平均
max by (instance) (node_load1)按实例取最大值
count by (job) (up == 1)统计各 job 在线实例数
stddev by (job) (request_duration_seconds)分组标准差,观察波动
topk(5, sum by (pod) (rate(container_cpu_usage_seconds_total[5m])))CPU 使用 Top5,排障必备
bottomk(3, node_filesystem_avail_bytes)剩余空间最少的 3 个挂载点
quantile(0.9, request_duration_seconds)聚合层面的分位数(与 histogram_quantile 不同)
count_values("version", build_info)按某标签值分组计数
group by (job) (up)只保留分组标签,值恒为 1
by 与 without 只能选一个同时写会语法错误
查询 / 表达式说明复制
abs(delta(node_load1[5m]))绝对值
ceil(node_load1)向上取整
floor(node_load1)向下取整
round(node_load1, 0.1)按精度四舍五入
clamp_max(rate(http_requests_total[5m]), 100)限制最大值,压制异常尖刺
clamp_min(node_load1, 0)限制最小值
clamp(node_load1, 0, 100)同时限制上下界
scalar(sum(up))向量转标量
vector(1)标量转向量,常用于对齐时间轴
sort_desc(sum by (pod) (rate(container_cpu_usage_seconds_total[5m])))降序排列,配合 Grafana 表格使用
label_replace(up, "host", "$1", "instance", "(.*):.*")用正则提取标签生成新标签
label_join(up, "addr", "-", "job", "instance")把多个标签拼成一个
timestamp(up)返回样本时间戳
time()当前时间戳(秒),用于计算持续时间
absent(up{job="api"})序列不存在时返回 1,做存活告警
absent_over_time(up{job="api"}[5m])5 分钟内完全没有样本时告警
查询 / 表达式说明复制
histogram_quantile(0.95, sum by (le) (rate(http_request_duration_seconds_bucket[5m])))经典 P95 延迟写法,必须保留 le 标签
histogram_quantile(0.99, sum by (le, job) (rate(http_request_duration_seconds_bucket[5m])))按 job 分别计算 P99
sum by (le) (rate(http_request_duration_seconds_bucket[5m]))先看分桶分布,确认分位数是否可信
rate(http_request_duration_seconds_sum[5m]) / rate(http_request_duration_seconds_count[5m])平均延迟
histogram_avg(rate(http_request_duration_seconds[5m]))原生直方图的平均值(2.40+)
histogram_quantile(0.9, rate(http_request_duration_seconds[5m]))原生直方图直接求分位数
sum(rate(http_request_duration_seconds_count[5m]))总请求数,做 QPS 分母
分位数不准时先看桶边界桶太粗(如只有 0.5/1/5)会导致 P95 严重失真
histogram_quantile 结果可能 >1 或 NaN分桶不单调或样本不足导致,检查 le 标签是否齐全
查询 / 表达式说明复制
100 - (avg by (instance) (rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100)CPU 使用率(%)
(1 - (node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes)) * 100内存使用率(%)
(node_filesystem_size_bytes{fstype!~"tmpfs|overlay"} - node_filesystem_avail_bytes{fstype!~"tmpfs|overlay"}) / node_filesystem_size_bytes{fstype!~"tmpfs|overlay"} * 100磁盘使用率,排除临时文件系统
predict_linear(node_filesystem_avail_bytes{mountpoint="/"}[6h], 4*3600) < 0预测 4 小时内磁盘写满
rate(node_network_receive_bytes_total{device="eth0"}[5m]) * 8网卡入向带宽(bps)
rate(node_disk_io_time_seconds_total[5m])磁盘 IO 利用率,接近 1 说明饱和
node_load1 / count by (instance) (node_cpu_seconds_total{mode="idle"})负载与核数比值
up == 0抓取失败的实例,最基础的存活告警
time() - process_start_time_seconds进程运行时长(秒)
sum by (pod) (rate(container_cpu_usage_seconds_total{container!=""}[5m]))Pod CPU 使用(核)
container_memory_working_set_bytes{container!=""} / 1024 / 1024Pod 内存使用(MB)
increase(kube_pod_container_status_restarts_total[1h]) > 01 小时内发生重启的容器
sum(rate(http_requests_total{status=~"5.."}[5m])) / sum(rate(http_requests_total[5m])) * 1005xx 错误率(%)
kube_deployment_status_replicas_available / kube_deployment_spec_replicas < 1副本不足的 Deployment
查询 / 表达式说明复制
record: job:http_requests:rate5m expr: sum by (job) (rate(http_requests_total[5m]))录制规则:预计算高频查询
record: instance:node_cpu_usage:ratio expr: 1 - avg by (instance) (rate(node_cpu_seconds_total{mode="idle"}[5m]))按实例预计算 CPU 使用率
alert: HighErrorRate expr: job:http_errors:ratio5m > 0.05 for: 10m告警规则:持续 10 分钟超过阈值才触发
labels: severity: critical team: infra为告警附加标签,便于路由
annotations: summary: "{{ $labels.job }} 错误率过高" description: "当前值 {{ $value }}"告警注释支持模板变量
keep_firing_for: 5m条件恢复后仍保持 firing 一段时间(2.42+)
ALERTS{alertstate="firing"}查询当前处于 firing 的告警
ALERTS_FOR_STATE记录告警开始时间,用于计算持续时长
promtool check rules /etc/prometheus/rules.yml校验规则文件语法与表达式
promtool test rules test.yml用单元测试验证告警规则
录制规则名建议带 level:metric:operation例如 job:http_requests:rate5m,便于复用与检索
告警表达式尽量避免直接 rate 裸指标先在录制规则里预计算,降低查询压力
查询 / 表达式说明复制
curl -G http://localhost:9090/api/v1/query --data-urlencode 'query=up'即时查询 API
curl -G http://localhost:9090/api/v1/query_range --data-urlencode 'query=rate(http_requests_total[5m])' --data-urlencode 'start=2026-11-02T00:00:00Z' --data-urlencode 'end=2026-11-02T01:00:00Z' --data-urlencode 'step=60s'范围查询 API,注意 step 与抓取间隔匹配
curl -s http://localhost:9090/api/v1/labels获取全部标签名
curl -s http://localhost:9090/api/v1/label/__name__/values获取全部指标名,用于盘点
curl -s 'http://localhost:9090/api/v1/series?match[]=up'查看匹配的序列集合
curl -s http://localhost:9090/api/v1/targets查看抓取目标与健康状态
curl -s http://localhost:9090/api/v1/rules查看规则分组与告警状态
curl -s http://localhost:9090/api/v1/alerts查看当前告警
curl -s http://localhost:9090/api/v1/metadata查看指标元数据与 HELP 信息
promtool query instant http://localhost:9090 'up == 0'命令行即时查询,便于脚本巡检
promtool query range --start=... --end=... --step=1m http://localhost:9090 'up'命令行范围查询
promtool check config /etc/prometheus/prometheus.yml校验主配置与规则引用
promtool tsdb analyze /prometheus分析 TSDB 基数与标签分布
查询 / 表达式说明复制
label_values(up, job)Grafana 变量:列出所有 job 值
label_values(node_uname_info, instance)列出实例
query_result(topk(5, sum by (pod) (rate(container_cpu_usage_seconds_total[5m]))))变量值来自查询结果,需用正则提取
sum by (job) (rate(http_requests_total{job=~"$job"}[$__rate_interval]))配合变量与 $__rate_interval 使用
rate(metric[$__rate_interval])Grafana 推荐的动态区间,随面板时间范围自适应
$__range 与 $__interval面板时间跨度与自动计算的步长
变量多选时用 =~"$job" 而非 =匹配多个值必须使用正则匹配
instance=~"$instance" 为空时会匹配不到数据变量选 All 时应配置 All 值为 .*
查询 / 表达式说明复制
a / on (instance) b按指定标签一对一匹配
a / ignoring (cpu) b忽略指定标签进行匹配
a / on (instance) group_left (version) b多对一匹配,左侧保留多条,右侧附加标签
a / on (instance) group_right (pod) b一对多匹配,右侧保留多条
sum by (instance) (rate(node_cpu_seconds_total{mode="idle"}[5m])) * on (instance) group_left (nodename) node_uname_info给指标附加节点名标签的经典写法
errors / total * 100同标签集直接相除,无需 on
many-to-many matching not allowed报错表示缺少 on/ignoring 或 group_left/right
join 两侧标签基数不一致时会丢数据先 sum 聚合到相同维度再匹配
查询 / 表达式说明复制
parse error: unexpected character语法错误:括号不配对、缺少引号或写错聚合关键字
expected type range vector in call to function "rate"rate 必须传区间向量,写成 rate(metric) 会报错
many-to-many matching not allowed向量匹配缺 on/ignoring,或需要 group_left
vector cannot contain metrics with the same labelset结果出现重复标签集,需加 by 聚合或补区分标签
查询结果为空(no data)指标名写错、标签不匹配、时间范围无数据或抓取已停止
rate 出现负值或尖刺counter 重置导致,rate 已处理重置,仍是负值多为指标类型用错
increase 结果不是整数倍Prometheus 会做外推,短窗口误差更明显,可加窗口长度
query timeout查询过重:收窄时间范围、先聚合、加录制规则或提高超时
查询很慢且内存飙升避免 {__name__=~".*"} 这类宽泛匹配与高基数标签
histogram_quantile 返回 NaN缺少 le="+Inf" 桶或区间内无样本
offset 与 @ 不能同时用于同一选择器两者冲突时拆成子查询
sum(rate(x[5m])) 才能聚合不能写 rate(sum(x)[5m]),rate 只接受原始 counter
瞬时值抖动很大改用 avg_over_time 或换更长区间,配合 Grafana 图例
指标名带单位后缀易写错_total/_bytes/_seconds 要与 /api/v1/label/__name__/values 核对

运维常用组合

服务健康大盘up == 0 → sum(rate(http_requests_total[5m])) → 5xx 比例 → P95 延迟 → topk 慢实例
主机资源CPU 使用率 → 内存使用率 → 磁盘使用率 → predict_linear 预测 → node_load1 对比
K8s 巡检Pod CPU/内存 → restarts_total 增量 → 副本可用数 → pending pod → 节点资源
告警设计先写 record 预计算 → alert 表达式引用 → for 持续判断 → labels 路由 → promtool test 验证
慢查询优化缩小时间范围 → 收窄标签 → 先聚合再计算 → 拆录制规则 → promtool tsdb analyze 看基数
临时排查promtool query instant 验证表达式 → Grafana Explore 看图 → 确认标签维度 → 固化为规则

常见问题排查

1. counter 用 rate,gauge 用 delta

对 counter 用 delta 或对 gauge 用 rate 都会得到无意义的数值

2. 窗口至少覆盖 4 个样本

抓取间隔 15s 时用 1m 以下窗口容易得到空值或不稳定速率

3. 聚合放外层

先 rate 再 sum,才能得到正确的全局速率;顺序反过来语义就错了

4. 标签越精确查询越快

指标名 + 等值标签优于宽泛正则,高基数标签是慢查询主因

5. 分位数看分桶

histogram_quantile 的精度取决于桶边界,桶太少时 P99 不可信

6. 高频查询做录制规则

把复杂表达式固化为 job:metric:rate5m,面板与告警都引用它

共 142 条 PromQL 查询 · 示例中的指标名与标签请替换为实际环境

关于PromQL命令速查

在线 PromQL 查询速查手册,按选择器与标签匹配、范围向量与时间修饰、区间函数、聚合与分组、数学与标签函数、直方图与分位数、常用运维查询、Recording 与告警规则、HTTP API 与 promtool、Grafana 变量、向量匹配与 join、常见报错与坑等 12 类场景整理 150+ 条查询与表达式,每条附中文说明与可直接复制的写法,支持关键词搜索、分类折叠和一键复制,打开网页即可查阅。涵盖指标名选择与 = / != / =~ / !~ 标签匹配与 __name__、[5m] 区间向量与 offset 1h 与 @ 修饰符与 @ start()/end()、rate/irate/increase/delta/idelta/deriv/predict_linear/avg_over_time/max_over_time/sum_over_time/count_over_time/quantile_over_time/resets/changes/last_over_time、sum/avg/max/min/count/stddev/topk/bottomk/quantile/count_values 与 by/without 分组、abs/ceil/floor/round/clamp/clamp_max/clamp_min/scalar/vector/sort/label_replace/label_join/timestamp/time/absent/absent_over_time、histogram_quantile 的 le 标签与 _bucket/_sum/_count 与原生直方图 histogram_avg、CPU/内存/磁盘/网络/负载/up/进程运行时长/Pod CPU 内存/重启/错误率/Deployment 副本等运维查询、record 与 alert 规则与 for/labels/annotations/keep_firing_for 与 ALERTS/ALERTS_FOR_STATE 与 promtool check rules/test rules、/api/v1/query 与 query_range 与 labels 与 label/__name__/values 与 series 与 targets 与 rules 与 alerts 与 metadata 与 promtool query instant/range 与 check config 与 tsdb analyze、Grafana label_values 与 query_result 与 $__rate_interval 与变量多选、on/ignoring/group_left/group_right 向量匹配,以及 parse error、expected type range vector、many-to-many matching、duplicate labelset、no data、query timeout、histogram_quantile NaN 等报错排查。适用于 Prometheus 监控查询、Grafana 面板与告警规则编写、主机与 Kubernetes 指标分析、SLO 与错误率统计、慢查询与高基数治理,以及运维与 SRE 面试复习。

核心能力

  • 涵盖指标名选择与 = / != / =~ / !~ 标签匹配与 __name__、[5m] 区间向量与 offset 1h 与 @ 修饰符与 @ start()/end()、rate/irate/increase/delta/idelta/deriv/predict_linear/avg_over_time/max_over_time/sum_over_time/count_over_time/quantile_over_time/resets/changes/last_over_time、sum/avg/max/min/count/stddev/topk/bottomk/quantile/count_values 与 by/without 分组、abs/ceil/floor/round/clamp/clamp_max/clamp_min/scalar/vector/sort/label_replace/label_join/timestamp/time/absent/absent_over_time、histogram_quantile 的 le 标签与 _bucket/_sum/_count 与原生直方图 histogram_avg、CPU/内存/磁盘/网络/负载/up/进程运行时长/Pod CPU 内存/重启/错误率/Deployment 副本等运维查询、record 与 alert 规则与 for/labels/annotations/keep_firing_for 与 ALERTS/ALERTS_FOR_STATE 与 promtool check rules/test rules、/api/v1/query 与 query_range 与 labels 与 label/__name__/values 与 series 与 targets 与 rules 与 alerts 与 metadata 与 promtool query instant/range 与 check config 与 tsdb analyze、Grafana label_values 与 query_result 与 $__rate_interval 与变量多选、on/ignoring/group_left/group_right 向量匹配,以及 parse error、expected type range vector、many-to-many matching、duplicate labelset、no data、query timeout、histogram_quantile NaN 等报错排查

适用场景

适用于 Prometheus 监控查询、Grafana 面板与告警规则编写、主机与 Kubernetes 指标分析、SLO 与错误率统计、慢查询与高基数治理,以及运维与 SRE 面试复习。PromQL命令速查全程在浏览器中完成,无需安装插件,可放心用于日常办公与排障。

常见问题

PromQL命令速查是免费的吗?需要注册或安装吗?
PromQL命令速查完全免费,无需注册、无需下载安装任何软件,用浏览器打开网页即可直接使用,也不限制使用次数。
PromQL命令速查支持哪些功能?
涵盖指标名选择与 = / != / =~ / !~ 标签匹配与 __name__、[5m] 区间向量与 offset 1h 与 @ 修饰符与 @ start()/end()、rate/irate/increase/delta/idelta/deriv/predict_linear/avg_over_time/max_over_time/sum_over_time/count_over_time/quantile_over_time/resets/changes/last_over_time、sum/avg/max/min/count/stddev/topk/bottomk/quantile/count_values 与 by/without 分组、abs/ceil/floor/round/clamp/clamp_max/clamp_min/scalar/vector/sort/label_replace/label_join/timestamp/time/absent/absent_over_time、histogram_quantile 的 le 标签与 _bucket/_sum/_count 与原生直方图 histogram_avg、CPU/内存/磁盘/网络/负载/up/进程运行时长/Pod CPU 内存/重启/错误率/Deployment 副本等运维查询、record 与 alert 规则与 for/labels/annotations/keep_firing_for 与 ALERTS/ALERTS_FOR_STATE 与 promtool check rules/test rules、/api/v1/query 与 query_range 与 labels 与 label/__name__/values 与 series 与 targets 与 rules 与 alerts 与 metadata 与 promtool query instant/range 与 check config 与 tsdb analyze、Grafana label_values 与 query_result 与 $__rate_interval 与变量多选、on/ignoring/group_left/group_right 向量匹配,以及 parse error、expected type range vector、many-to-many matching、duplicate labelset、no data、query timeout、histogram_quantile NaN 等报错排查。
PromQL命令速查适合哪些场景使用?
适用于 Prometheus 监控查询、Grafana 面板与告警规则编写、主机与 Kubernetes 指标分析、SLO 与错误率统计、慢查询与高基数治理,以及运维与 SRE 面试复习。