PromQL命令速查
选择器、范围向量、rate 与聚合、直方图分位数、运维常用查询、录制告警规则、HTTP API 与排错等 142 条查询
共 142 条查询 · 12 类场景 · 点击右侧图标可复制
| 查询 / 表达式 | 说明 | 复制 |
|---|---|---|
node_cpu_seconds_total | 按指标名查询,返回即时向量 | |
node_cpu_seconds_total{mode="idle"} | 等值匹配标签 | |
node_cpu_seconds_total{mode!="idle"} | 不等匹配,排除指定标签值 | |
node_cpu_seconds_total{mode=~"idle|iowait"} | 正则匹配,正则整体锚定 | |
node_cpu_seconds_total{mode!~"idle|iowait"} | 正则排除 | |
node_cpu_seconds_total{instance="10.0.0.11:9100", mode="idle"} | 多标签组合,越精确查询越快 | |
{__name__=~"node_cpu_seconds_total"} | 按 __name__ 匹配,尽量避免宽泛正则 | |
{job="api"} | 不写指标名只按标签查,开销大需谨慎 | |
{__name__=~"job:.*"} | 查全部 recording rule 指标,用于盘点规则 | |
http_requests_total{status=~"5.."} | 5xx 状态码统计常用写法 |
| 查询 / 表达式 | 说明 | 复制 |
|---|---|---|
node_cpu_seconds_total[5m] | 取最近 5 分钟样本,只能用于支持范围向量的函数 | |
http_requests_total[1h] | 1 小时范围向量 | |
http_requests_total offset 1h | 取 1 小时前的值,做同比对比 | |
rate(http_requests_total[5m] offset 1d) | 与昨天同一时刻对比 | |
http_requests_total @ 1609746000 | 固定在指定 Unix 时间点求值 | |
http_requests_total @ start() | 固定在查询区间起点求值 | |
http_requests_total @ end() | 固定在查询区间终点求值 | |
http_requests_total offset -5m | 负偏移,查看“未来”5 分钟的数据(2.26+) | |
rate(metric[5m]) 的区间应至少包含 4 个样本 | 抓取间隔 15s 时用 1m 以上窗口更稳定 |
| 查询 / 表达式 | 说明 | 复制 |
|---|---|---|
rate(http_requests_total[5m]) | 每秒平均增长率,counter 最常用函数 | |
irate(http_requests_total[5m]) | 用最后两个样本算瞬时速率,更敏感也更抖 | |
increase(http_requests_total[1h]) | 区间内增量,等价于 rate 乘时间 | |
delta(node_load1[5m]) | gauge 的区间变化量 | |
idelta(node_load1[5m]) | gauge 最后两个样本的差值 | |
deriv(node_filesystem_avail_bytes[1h]) | 按线性回归求每秒变化率 | |
predict_linear(node_filesystem_avail_bytes[6h], 4*3600) | 预测 4 小时后剩余空间,<0 即要满 | |
avg_over_time(node_load1[10m]) | 区间平均值,平滑毛刺 | |
max_over_time(node_load1[10m]) | 区间最大值,评估峰值 | |
sum_over_time(increase(http_requests_total[1m])[1h:1m]) | 子查询把区间增量再累加 | |
count_over_time(up[5m]) | 区间样本数,可判断抓取是否中断 | |
quantile_over_time(0.95, request_duration_seconds[10m]) | 区间分位数 | |
resets(process_start_time_seconds[1h]) | counter 重置次数,判断重启 | |
changes(process_start_time_seconds[1h]) > 0 | 进程启动时间变化,等价于重启检测 | |
last_over_time(up[10m]) | 取区间最后一个样本,避免瞬时无数据 | |
present_over_time(up[10m]) | 区间内存在样本则返回 1 |
| 查询 / 表达式 | 说明 | 复制 |
|---|---|---|
sum(rate(http_requests_total[5m])) | 全局求和 | |
sum by (job) (rate(http_requests_total[5m])) | 按 job 分组求和,最常用形式 | |
sum without (instance) (rate(http_requests_total[5m])) | 去掉 instance 标签后求和 | |
avg by (instance) (rate(node_cpu_seconds_total{mode="idle"}[5m])) | 按实例求平均 | |
max by (instance) (node_load1) | 按实例取最大值 | |
count by (job) (up == 1) | 统计各 job 在线实例数 | |
stddev by (job) (request_duration_seconds) | 分组标准差,观察波动 | |
topk(5, sum by (pod) (rate(container_cpu_usage_seconds_total[5m]))) | CPU 使用 Top5,排障必备 | |
bottomk(3, node_filesystem_avail_bytes) | 剩余空间最少的 3 个挂载点 | |
quantile(0.9, request_duration_seconds) | 聚合层面的分位数(与 histogram_quantile 不同) | |
count_values("version", build_info) | 按某标签值分组计数 | |
group by (job) (up) | 只保留分组标签,值恒为 1 | |
by 与 without 只能选一个 | 同时写会语法错误 |
| 查询 / 表达式 | 说明 | 复制 |
|---|---|---|
abs(delta(node_load1[5m])) | 绝对值 | |
ceil(node_load1) | 向上取整 | |
floor(node_load1) | 向下取整 | |
round(node_load1, 0.1) | 按精度四舍五入 | |
clamp_max(rate(http_requests_total[5m]), 100) | 限制最大值,压制异常尖刺 | |
clamp_min(node_load1, 0) | 限制最小值 | |
clamp(node_load1, 0, 100) | 同时限制上下界 | |
scalar(sum(up)) | 向量转标量 | |
vector(1) | 标量转向量,常用于对齐时间轴 | |
sort_desc(sum by (pod) (rate(container_cpu_usage_seconds_total[5m]))) | 降序排列,配合 Grafana 表格使用 | |
label_replace(up, "host", "$1", "instance", "(.*):.*") | 用正则提取标签生成新标签 | |
label_join(up, "addr", "-", "job", "instance") | 把多个标签拼成一个 | |
timestamp(up) | 返回样本时间戳 | |
time() | 当前时间戳(秒),用于计算持续时间 | |
absent(up{job="api"}) | 序列不存在时返回 1,做存活告警 | |
absent_over_time(up{job="api"}[5m]) | 5 分钟内完全没有样本时告警 |
| 查询 / 表达式 | 说明 | 复制 |
|---|---|---|
histogram_quantile(0.95, sum by (le) (rate(http_request_duration_seconds_bucket[5m]))) | 经典 P95 延迟写法,必须保留 le 标签 | |
histogram_quantile(0.99, sum by (le, job) (rate(http_request_duration_seconds_bucket[5m]))) | 按 job 分别计算 P99 | |
sum by (le) (rate(http_request_duration_seconds_bucket[5m])) | 先看分桶分布,确认分位数是否可信 | |
rate(http_request_duration_seconds_sum[5m]) / rate(http_request_duration_seconds_count[5m]) | 平均延迟 | |
histogram_avg(rate(http_request_duration_seconds[5m])) | 原生直方图的平均值(2.40+) | |
histogram_quantile(0.9, rate(http_request_duration_seconds[5m])) | 原生直方图直接求分位数 | |
sum(rate(http_request_duration_seconds_count[5m])) | 总请求数,做 QPS 分母 | |
分位数不准时先看桶边界 | 桶太粗(如只有 0.5/1/5)会导致 P95 严重失真 | |
histogram_quantile 结果可能 >1 或 NaN | 分桶不单调或样本不足导致,检查 le 标签是否齐全 |
| 查询 / 表达式 | 说明 | 复制 |
|---|---|---|
100 - (avg by (instance) (rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100) | CPU 使用率(%) | |
(1 - (node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes)) * 100 | 内存使用率(%) | |
(node_filesystem_size_bytes{fstype!~"tmpfs|overlay"} - node_filesystem_avail_bytes{fstype!~"tmpfs|overlay"}) / node_filesystem_size_bytes{fstype!~"tmpfs|overlay"} * 100 | 磁盘使用率,排除临时文件系统 | |
predict_linear(node_filesystem_avail_bytes{mountpoint="/"}[6h], 4*3600) < 0 | 预测 4 小时内磁盘写满 | |
rate(node_network_receive_bytes_total{device="eth0"}[5m]) * 8 | 网卡入向带宽(bps) | |
rate(node_disk_io_time_seconds_total[5m]) | 磁盘 IO 利用率,接近 1 说明饱和 | |
node_load1 / count by (instance) (node_cpu_seconds_total{mode="idle"}) | 负载与核数比值 | |
up == 0 | 抓取失败的实例,最基础的存活告警 | |
time() - process_start_time_seconds | 进程运行时长(秒) | |
sum by (pod) (rate(container_cpu_usage_seconds_total{container!=""}[5m])) | Pod CPU 使用(核) | |
container_memory_working_set_bytes{container!=""} / 1024 / 1024 | Pod 内存使用(MB) | |
increase(kube_pod_container_status_restarts_total[1h]) > 0 | 1 小时内发生重启的容器 | |
sum(rate(http_requests_total{status=~"5.."}[5m])) / sum(rate(http_requests_total[5m])) * 100 | 5xx 错误率(%) | |
kube_deployment_status_replicas_available / kube_deployment_spec_replicas < 1 | 副本不足的 Deployment |
| 查询 / 表达式 | 说明 | 复制 |
|---|---|---|
record: job:http_requests:rate5m
expr: sum by (job) (rate(http_requests_total[5m])) | 录制规则:预计算高频查询 | |
record: instance:node_cpu_usage:ratio
expr: 1 - avg by (instance) (rate(node_cpu_seconds_total{mode="idle"}[5m])) | 按实例预计算 CPU 使用率 | |
alert: HighErrorRate
expr: job:http_errors:ratio5m > 0.05
for: 10m | 告警规则:持续 10 分钟超过阈值才触发 | |
labels:
severity: critical
team: infra | 为告警附加标签,便于路由 | |
annotations:
summary: "{{ $labels.job }} 错误率过高"
description: "当前值 {{ $value }}" | 告警注释支持模板变量 | |
keep_firing_for: 5m | 条件恢复后仍保持 firing 一段时间(2.42+) | |
ALERTS{alertstate="firing"} | 查询当前处于 firing 的告警 | |
ALERTS_FOR_STATE | 记录告警开始时间,用于计算持续时长 | |
promtool check rules /etc/prometheus/rules.yml | 校验规则文件语法与表达式 | |
promtool test rules test.yml | 用单元测试验证告警规则 | |
录制规则名建议带 level:metric:operation | 例如 job:http_requests:rate5m,便于复用与检索 | |
告警表达式尽量避免直接 rate 裸指标 | 先在录制规则里预计算,降低查询压力 |
| 查询 / 表达式 | 说明 | 复制 |
|---|---|---|
curl -G http://localhost:9090/api/v1/query --data-urlencode 'query=up' | 即时查询 API | |
curl -G http://localhost:9090/api/v1/query_range --data-urlencode 'query=rate(http_requests_total[5m])' --data-urlencode 'start=2026-11-02T00:00:00Z' --data-urlencode 'end=2026-11-02T01:00:00Z' --data-urlencode 'step=60s' | 范围查询 API,注意 step 与抓取间隔匹配 | |
curl -s http://localhost:9090/api/v1/labels | 获取全部标签名 | |
curl -s http://localhost:9090/api/v1/label/__name__/values | 获取全部指标名,用于盘点 | |
curl -s 'http://localhost:9090/api/v1/series?match[]=up' | 查看匹配的序列集合 | |
curl -s http://localhost:9090/api/v1/targets | 查看抓取目标与健康状态 | |
curl -s http://localhost:9090/api/v1/rules | 查看规则分组与告警状态 | |
curl -s http://localhost:9090/api/v1/alerts | 查看当前告警 | |
curl -s http://localhost:9090/api/v1/metadata | 查看指标元数据与 HELP 信息 | |
promtool query instant http://localhost:9090 'up == 0' | 命令行即时查询,便于脚本巡检 | |
promtool query range --start=... --end=... --step=1m http://localhost:9090 'up' | 命令行范围查询 | |
promtool check config /etc/prometheus/prometheus.yml | 校验主配置与规则引用 | |
promtool tsdb analyze /prometheus | 分析 TSDB 基数与标签分布 |
| 查询 / 表达式 | 说明 | 复制 |
|---|---|---|
label_values(up, job) | Grafana 变量:列出所有 job 值 | |
label_values(node_uname_info, instance) | 列出实例 | |
query_result(topk(5, sum by (pod) (rate(container_cpu_usage_seconds_total[5m])))) | 变量值来自查询结果,需用正则提取 | |
sum by (job) (rate(http_requests_total{job=~"$job"}[$__rate_interval])) | 配合变量与 $__rate_interval 使用 | |
rate(metric[$__rate_interval]) | Grafana 推荐的动态区间,随面板时间范围自适应 | |
$__range 与 $__interval | 面板时间跨度与自动计算的步长 | |
变量多选时用 =~"$job" 而非 = | 匹配多个值必须使用正则匹配 | |
instance=~"$instance" 为空时会匹配不到数据 | 变量选 All 时应配置 All 值为 .* |
| 查询 / 表达式 | 说明 | 复制 |
|---|---|---|
a / on (instance) b | 按指定标签一对一匹配 | |
a / ignoring (cpu) b | 忽略指定标签进行匹配 | |
a / on (instance) group_left (version) b | 多对一匹配,左侧保留多条,右侧附加标签 | |
a / on (instance) group_right (pod) b | 一对多匹配,右侧保留多条 | |
sum by (instance) (rate(node_cpu_seconds_total{mode="idle"}[5m])) * on (instance) group_left (nodename) node_uname_info | 给指标附加节点名标签的经典写法 | |
errors / total * 100 | 同标签集直接相除,无需 on | |
many-to-many matching not allowed | 报错表示缺少 on/ignoring 或 group_left/right | |
join 两侧标签基数不一致时会丢数据 | 先 sum 聚合到相同维度再匹配 |
| 查询 / 表达式 | 说明 | 复制 |
|---|---|---|
parse error: unexpected character | 语法错误:括号不配对、缺少引号或写错聚合关键字 | |
expected type range vector in call to function "rate" | rate 必须传区间向量,写成 rate(metric) 会报错 | |
many-to-many matching not allowed | 向量匹配缺 on/ignoring,或需要 group_left | |
vector cannot contain metrics with the same labelset | 结果出现重复标签集,需加 by 聚合或补区分标签 | |
查询结果为空(no data) | 指标名写错、标签不匹配、时间范围无数据或抓取已停止 | |
rate 出现负值或尖刺 | counter 重置导致,rate 已处理重置,仍是负值多为指标类型用错 | |
increase 结果不是整数倍 | Prometheus 会做外推,短窗口误差更明显,可加窗口长度 | |
query timeout | 查询过重:收窄时间范围、先聚合、加录制规则或提高超时 | |
查询很慢且内存飙升 | 避免 {__name__=~".*"} 这类宽泛匹配与高基数标签 | |
histogram_quantile 返回 NaN | 缺少 le="+Inf" 桶或区间内无样本 | |
offset 与 @ 不能同时用于同一选择器 | 两者冲突时拆成子查询 | |
sum(rate(x[5m])) 才能聚合 | 不能写 rate(sum(x)[5m]),rate 只接受原始 counter | |
瞬时值抖动很大 | 改用 avg_over_time 或换更长区间,配合 Grafana 图例 | |
指标名带单位后缀易写错 | _total/_bytes/_seconds 要与 /api/v1/label/__name__/values 核对 |
运维常用组合
up == 0 → sum(rate(http_requests_total[5m])) → 5xx 比例 → P95 延迟 → topk 慢实例CPU 使用率 → 内存使用率 → 磁盘使用率 → predict_linear 预测 → node_load1 对比Pod CPU/内存 → restarts_total 增量 → 副本可用数 → pending pod → 节点资源先写 record 预计算 → alert 表达式引用 → for 持续判断 → labels 路由 → promtool test 验证缩小时间范围 → 收窄标签 → 先聚合再计算 → 拆录制规则 → promtool tsdb analyze 看基数promtool query instant 验证表达式 → Grafana Explore 看图 → 确认标签维度 → 固化为规则常见问题排查
1. counter 用 rate,gauge 用 delta
对 counter 用 delta 或对 gauge 用 rate 都会得到无意义的数值
2. 窗口至少覆盖 4 个样本
抓取间隔 15s 时用 1m 以下窗口容易得到空值或不稳定速率
3. 聚合放外层
先 rate 再 sum,才能得到正确的全局速率;顺序反过来语义就错了
4. 标签越精确查询越快
指标名 + 等值标签优于宽泛正则,高基数标签是慢查询主因
5. 分位数看分桶
histogram_quantile 的精度取决于桶边界,桶太少时 P99 不可信
6. 高频查询做录制规则
把复杂表达式固化为 job:metric:rate5m,面板与告警都引用它
相关工具
Linux命令速查
文件、文本、权限、进程、网络、磁盘、systemd与防火墙等 Linux 常用命令速查手册
Docker命令速查
镜像、容器、网络、数据卷、Compose、Swarm、清理与排障等 Docker 常用命令速查手册
Nginx命令速查
服务管理、配置指令、反向代理、HTTPS、限流缓存、日志排查等 Nginx 常用命令速查手册
K8S命令速查
集群上下文、Pod调试、工作负载、Service与Ingress、存储、权限、排障等 kubectl 常用命令速查手册
Windows CMD命令速查
文件目录、网络诊断、进程服务、系统信息、用户权限、注册表、批处理等 Windows CMD 常用命令速查手册
systemctl服务管理速查
服务启停、开机自启、unit文件编写、日志查看、定时器、依赖分析与排障等 systemctl 命令速查手册
关于PromQL命令速查
在线 PromQL 查询速查手册,按选择器与标签匹配、范围向量与时间修饰、区间函数、聚合与分组、数学与标签函数、直方图与分位数、常用运维查询、Recording 与告警规则、HTTP API 与 promtool、Grafana 变量、向量匹配与 join、常见报错与坑等 12 类场景整理 150+ 条查询与表达式,每条附中文说明与可直接复制的写法,支持关键词搜索、分类折叠和一键复制,打开网页即可查阅。涵盖指标名选择与 = / != / =~ / !~ 标签匹配与 __name__、[5m] 区间向量与 offset 1h 与 @ 修饰符与 @ start()/end()、rate/irate/increase/delta/idelta/deriv/predict_linear/avg_over_time/max_over_time/sum_over_time/count_over_time/quantile_over_time/resets/changes/last_over_time、sum/avg/max/min/count/stddev/topk/bottomk/quantile/count_values 与 by/without 分组、abs/ceil/floor/round/clamp/clamp_max/clamp_min/scalar/vector/sort/label_replace/label_join/timestamp/time/absent/absent_over_time、histogram_quantile 的 le 标签与 _bucket/_sum/_count 与原生直方图 histogram_avg、CPU/内存/磁盘/网络/负载/up/进程运行时长/Pod CPU 内存/重启/错误率/Deployment 副本等运维查询、record 与 alert 规则与 for/labels/annotations/keep_firing_for 与 ALERTS/ALERTS_FOR_STATE 与 promtool check rules/test rules、/api/v1/query 与 query_range 与 labels 与 label/__name__/values 与 series 与 targets 与 rules 与 alerts 与 metadata 与 promtool query instant/range 与 check config 与 tsdb analyze、Grafana label_values 与 query_result 与 $__rate_interval 与变量多选、on/ignoring/group_left/group_right 向量匹配,以及 parse error、expected type range vector、many-to-many matching、duplicate labelset、no data、query timeout、histogram_quantile NaN 等报错排查。适用于 Prometheus 监控查询、Grafana 面板与告警规则编写、主机与 Kubernetes 指标分析、SLO 与错误率统计、慢查询与高基数治理,以及运维与 SRE 面试复习。
核心能力
- 涵盖指标名选择与 = / != / =~ / !~ 标签匹配与 __name__、[5m] 区间向量与 offset 1h 与 @ 修饰符与 @ start()/end()、rate/irate/increase/delta/idelta/deriv/predict_linear/avg_over_time/max_over_time/sum_over_time/count_over_time/quantile_over_time/resets/changes/last_over_time、sum/avg/max/min/count/stddev/topk/bottomk/quantile/count_values 与 by/without 分组、abs/ceil/floor/round/clamp/clamp_max/clamp_min/scalar/vector/sort/label_replace/label_join/timestamp/time/absent/absent_over_time、histogram_quantile 的 le 标签与 _bucket/_sum/_count 与原生直方图 histogram_avg、CPU/内存/磁盘/网络/负载/up/进程运行时长/Pod CPU 内存/重启/错误率/Deployment 副本等运维查询、record 与 alert 规则与 for/labels/annotations/keep_firing_for 与 ALERTS/ALERTS_FOR_STATE 与 promtool check rules/test rules、/api/v1/query 与 query_range 与 labels 与 label/__name__/values 与 series 与 targets 与 rules 与 alerts 与 metadata 与 promtool query instant/range 与 check config 与 tsdb analyze、Grafana label_values 与 query_result 与 $__rate_interval 与变量多选、on/ignoring/group_left/group_right 向量匹配,以及 parse error、expected type range vector、many-to-many matching、duplicate labelset、no data、query timeout、histogram_quantile NaN 等报错排查
适用场景
适用于 Prometheus 监控查询、Grafana 面板与告警规则编写、主机与 Kubernetes 指标分析、SLO 与错误率统计、慢查询与高基数治理,以及运维与 SRE 面试复习。PromQL命令速查全程在浏览器中完成,无需安装插件,可放心用于日常办公与排障。
常见问题
- PromQL命令速查是免费的吗?需要注册或安装吗?
- PromQL命令速查完全免费,无需注册、无需下载安装任何软件,用浏览器打开网页即可直接使用,也不限制使用次数。
- PromQL命令速查支持哪些功能?
- 涵盖指标名选择与 = / != / =~ / !~ 标签匹配与 __name__、[5m] 区间向量与 offset 1h 与 @ 修饰符与 @ start()/end()、rate/irate/increase/delta/idelta/deriv/predict_linear/avg_over_time/max_over_time/sum_over_time/count_over_time/quantile_over_time/resets/changes/last_over_time、sum/avg/max/min/count/stddev/topk/bottomk/quantile/count_values 与 by/without 分组、abs/ceil/floor/round/clamp/clamp_max/clamp_min/scalar/vector/sort/label_replace/label_join/timestamp/time/absent/absent_over_time、histogram_quantile 的 le 标签与 _bucket/_sum/_count 与原生直方图 histogram_avg、CPU/内存/磁盘/网络/负载/up/进程运行时长/Pod CPU 内存/重启/错误率/Deployment 副本等运维查询、record 与 alert 规则与 for/labels/annotations/keep_firing_for 与 ALERTS/ALERTS_FOR_STATE 与 promtool check rules/test rules、/api/v1/query 与 query_range 与 labels 与 label/__name__/values 与 series 与 targets 与 rules 与 alerts 与 metadata 与 promtool query instant/range 与 check config 与 tsdb analyze、Grafana label_values 与 query_result 与 $__rate_interval 与变量多选、on/ignoring/group_left/group_right 向量匹配,以及 parse error、expected type range vector、many-to-many matching、duplicate labelset、no data、query timeout、histogram_quantile NaN 等报错排查。
- PromQL命令速查适合哪些场景使用?
- 适用于 Prometheus 监控查询、Grafana 面板与告警规则编写、主机与 Kubernetes 指标分析、SLO 与错误率统计、慢查询与高基数治理,以及运维与 SRE 面试复习。