viva
  • 主页
  • 开发
    • IDE环境
      • Vim
      • VSCode
        • code-server
        • theia
    • Golang手册
    • Ansible
    • SaltStack
      • salt-api
    • Python
      • Q&A
      • Hello,world!
      • 类型
        • 数字
        • 字符串
        • 列表
        • 元组
        • 集合
        • 字典
      • 语法
        • 流程控制
        • 循环
      • 工具
        • pip
        • pyenv
        • selenium
      • 示例
    • Shell
    • Vue
      • ant-design
      • vue-material
    • Java
  • 随笔
    • WSL2
    • Git
    • Markdown
      • mermaid
    • Linux
      • 时钟同步
      • 账号
      • 文件
      • SSH
      • systemd
      • TLS加密
        • Openssl
      • 存储
        • rsync
        • NFS
      • 路由
      • 日志采集
        • Journalctl
        • Fluentd
          • 根据字段匹配对日志进行结构化
        • Logstash
    • 虚拟化
      • Hyper-V
      • PXE
    • 命令行工具
      • zsh
    • Nexus3
    • 堡垒机
      • JumpServer
    • 测试工具
      • ioping
      • apache bench
      • dd
      • postman
    • 开源项目管理
      • Github
    • 软件包管理
    • 网络镜像源
    • 网关
      • Nginx
  • 存储
    • Ceph
      • 安装
      • 故障处理
    • Etcd
    • Mysql
  • 网络
    • Overlay网络
    • IPVS
    • 网络工具
      • tshark
      • tcpdump
    • 防火墙
      • nftables
      • firewalld
      • iptables
    • 域名解析
      • dig
      • nslookup
      • dnsmasq
    • 代理
      • Clash
      • Redsocks
      • Redsocks2
      • COW
      • Proxfier
  • 云原生
    • 容器
      • Docker
        • Dockerfile
        • docker-compose
      • Podman
      • 原理
        • Chroot
        • Namespace
        • Cgroup
    • 镜像仓库
      • Harbor
    • Kubernetes
      • 部署
        • Kind
        • Minikube
        • kubespray
      • CNI
        • Flannel
        • OVS
        • Calico
      • Operator
        • OperatorSDK
      • StorageClass
      • Q&A
    • Openshift
      • 集群部署
      • 快速使用
    • Prometheus
      • prometheus-operator
      • kube-prometheus
      • Thanos
        • 组件
          • Bucket
          • Check
          • Compact
          • Querier
          • Receiver
          • Ruler
          • Sidecar
          • Store
        • 参考资料
      • Cortex
        • 组件
          • Alertmanager
          • Config
          • Distributor
          • Ingester
          • Querier
          • Query Frontend
          • Ruler
        • 参考资料
      • Thanos与Cortex方案对比
      • 参考资料
      • Q&A
    • Skywalking
    • Rook
    • Helm
    • Istio
    • 应用部署
      • Nexus
      • RabbitMQ
    • 参考资料
  • DevOps
    • 开源DevOps平台
    • CICD
      • Jenkins
    • 参考资料
  • 机器学习
    • Kubeflow
      • 示例
由 GitBook 提供支持
在本页
  1. 云原生
  2. Prometheus
  3. Cortex
  4. 组件

Ingester

Ingester负责将写入的指标数据存储到长期存储后端,在查询时返回内存中的短期指标数据。

写入的指标数据不会立即写入到存储中而是驻留在内存中,并周期性地刷写到存储中(在默认情况下使用chunks存储会驻留12小时,block存储会驻留2小时)。因此,querier在查询时需要同时从Ingester中和长期存储后端中获取短期数据和长期数据。

Ingester中包含了一个生命周期管理器用于管理Ingester的生命周期并且将其状态同步到哈希环中。有以下几种状态:

  • PENDING

  • JOINING

  • ACTIVE

  • LEAVING

  • UNHEALTHY

ingester是有状态服务,需要使用独立的存储。通过两种方式保证了数据的持久可靠性:

  • replication(多副本)。Distributor会写入多个副本(默认为3)的指标数据到多个Ingester上,在个别Ingester出现故障时,其余的Ingester仍然可以继续将其内存中的冗余副本数据写入到长期存储后端。

  • WAL(预写日志)。还未刷写到长期存储后端的指标数据会以文件形式记录在本地。当Ingester发生故障后重启时,会从WAL中将数据再次加载回内存中。WAL目前对于chunks存储仍然是实验性功能,默认情况下为关闭状态。而在blocks存储中则默认开启。

避免写放大

ingester没有采取实时写入数据到存储后端的方式,目的是减轻频繁写入对长期存储后端产生的压力。并且,ingester还会对驻留在内存中的数据进行分批和压缩,周期性地刷写数据到长期存储后端。

上一页Distributor下一页Querier

最后更新于5年前