ivanjobs.github.io - Ceph配置项









Search Preview

Ceph配置项 | Ivan的博客

ivanjobs.github.io
刚开始学习一个系统,可以从两个方面入手,一个是API,一个是配置。这边文档就是从配置的角度入手,探究ceph的内部原理和过程。ceph运行起来的时候,默认配置可以从源码文件src/common/config_opts.h中查看到。ceph的配置文件只有一个,即ceph.conf, 所有的配置都在这一个文件中。下面根据不同的服务来分类不同的配置项。
.io > ivanjobs.github.io

SEO audit: Content analysis

Language Error! No language localisation is found.
Title Ceph配置项 | Ivan的博客
Text / HTML ratio 35 %
Frame Excellent! The website does not use iFrame solutions.
Flash Excellent! The website does not have any flash contents.
Keywords cloud osd Ceph mon Mesos min Python pool max scrub interval mesos ratio config => OpenStack recovery default threads pg 题解
Keywords consistency
Keyword Content Title Description Headings
osd 39
Ceph 14
mon 12
Mesos 7
min 7
Python 7
Headings
H1 H2 H3 H4 H5 H6
1 0 6 0 0 0
Images We found 1 images on this web page.

SEO Keywords (Single)

Keyword Occurrence Density
osd 39 1.95 %
Ceph 14 0.70 %
mon 12 0.60 %
Mesos 7 0.35 %
min 7 0.35 %
Python 7 0.35 %
pool 6 0.30 %
max 6 0.30 %
scrub 6 0.30 %
interval 6 0.30 %
mesos 5 0.25 %
ratio 5 0.25 %
config 5 0.25 %
=> 5 0.25 %
OpenStack 4 0.20 %
recovery 4 0.20 %
default 4 0.20 %
threads 3 0.15 %
pg 3 0.15 %
题解 3 0.15 %

SEO Keywords (Two Word)

Keyword Occurrence Density
mon osd 7 0.35 %
osd scrub 4 0.20 %
osd recovery 4 0.20 %
osd min 4 0.20 %
pool default 4 0.20 %
osd pool 4 0.20 %
osd backfill 3 0.15 %
heartbeat interval 2 0.10 %
= 250 2 0.10 %
num = 2 0.10 %
ratio mon 2 0.10 %
osd deep 2 0.10 %
op priority 2 0.10 %
Ceph RGW 2 0.10 %
Ceph v1023 2 0.10 %
deep scrub 2 0.10 %
同上 osd 2 0.10 %
osd max 2 0.10 %
backfill scan 2 0.10 %
osd heartbeat 2 0.10 %

SEO Keywords (Three Word)

Keyword Occurrence Density Possible Spam
osd pool default 4 0.20 % No
mon osd min 4 0.20 % No
ratio mon osd 2 0.10 % No
osd min down 2 0.10 % No
mon osd interaction 2 0.10 % No
num = 250 2 0.10 % No
osd backfill scan 2 0.10 % No
osd deep scrub 2 0.10 % No
做deep scrub时需要读取对象内容,该配置项,限制读取大小。 operation配置 1 0.05 % No
scrub时需要读取对象内容,该配置项,限制读取大小。 operation配置 osd 1 0.05 % No
operation配置 osd op 1 0.05 % No
op threads osd服务请求的线程数。 1 0.05 % No
osd op threads 1 0.05 % No
threads osd服务请求的线程数。 osd 1 0.05 % No
osd服务请求的线程数。 osd client 1 0.05 % No
osd client op 1 0.05 % No
client op priority 1 0.05 % No
op priority 163 1 0.05 % No
stride 做deep scrub时需要读取对象内容,该配置项,限制读取大小。 1 0.05 % No
scrub stride 做deep 1 0.05 % No

SEO Keywords (Four Word)

Keyword Occurrence Density Possible Spam
mon osd min down 2 0.10 % No
最新文章 dev ops math 1 0.05 % No
osd服务请求的线程数。 osd client op 1 0.05 % No
disk threads osd服务于磁盘任务的线程数,比如scrub等操作。 backfill配置 1 0.05 % No
osd disk threads osd服务于磁盘任务的线程数,比如scrub等操作。 1 0.05 % No
同上 osd disk threads 1 0.05 % No
priority 同上 osd disk 1 0.05 % No
op priority 同上 osd 1 0.05 % No
recovery op priority 同上 1 0.05 % No
osd recovery op priority 1 0.05 % No
osd服务的请求有两种,一种是客户端请求,这里配置服务客户端请求的权重。 osd recovery op 1 0.05 % No
163 osd服务的请求有两种,一种是客户端请求,这里配置服务客户端请求的权重。 osd recovery 1 0.05 % No
priority 163 osd服务的请求有两种,一种是客户端请求,这里配置服务客户端请求的权重。 osd 1 0.05 % No
op priority 163 osd服务的请求有两种,一种是客户端请求,这里配置服务客户端请求的权重。 1 0.05 % No
client op priority 163 1 0.05 % No
osd client op priority 1 0.05 % No
op threads osd服务请求的线程数。 osd 1 0.05 % No
threads osd服务请求的线程数。 osd client 1 0.05 % No
osd服务于磁盘任务的线程数,比如scrub等操作。 backfill配置 osd max 1 0.05 % No
osd op threads osd服务请求的线程数。 1 0.05 % No

Internal links in - ivanjobs.github.io

开始使用gtest
开始使用gtest | Ivan的博客
寻找正确的语义[比赛总结]
寻找正确的语义[比赛总结] | Ivan的博客
score_thresholder服务开发总结
score_thresholder服务开发总结 | Ivan的博客
Debug CPP Program On Ubuntu
Debug CPP Program On Ubuntu | Ivan的博客
Modern CPP Developer Need To Know
Modern CPP Developer Need To Know | Ivan的博客
汇编语言学习笔记
汇编语言学习笔记 | Ivan的博客
Mesos Quota 和 Reservation
Mesos Quota 和 Reservation | Ivan的博客
libprocess学习笔记
libprocess学习笔记 | Ivan的博客
Consul使用笔记
Consul使用笔记 | Ivan的博客
SSH重新学习
SSH重新学习 | Ivan的博客
Protocol buffers 代码入门
Protocol buffers 代码入门 | Ivan的博客
Mesos Slave 如何上报资源?
Mesos Slave 如何上报资源? | Ivan的博客
Object Locator (Ceph) 探究笔记
Object Locator (Ceph) 探究笔记 | Ivan的博客
librados接口使用
librados接口使用 | Ivan的博客
Ceph RGW Pools 浅析
Ceph RGW Pools 浅析 | Ivan的博客
在单机上搭建多Ceph集群
在单机上搭建多Ceph集群 | Ivan的博客
Dockerfile中RUN/CMD/ENTRYPOINT的区分
Dockerfile中RUN/CMD/ENTRYPOINT的区分 | Ivan的博客
strace使用入门
strace使用入门 | Ivan的博客
Haystack论文学习笔记
Haystack论文学习笔记 | Ivan的博客
Mesos关联配置
Mesos关联配置 | Ivan的博客
ZooKeeper概览
ZooKeeper概览 | Ivan的博客
Ceph故障解析-filestore_merge_threshold
Ceph故障解析-filestore_merge_threshold | Ivan的博客
基于laravel+mysql的容器化DAL方案
基于laravel+mysql的容器化DAL方案 | Ivan的博客
vuejs使用小结1
vuejs使用小结1 | Ivan的博客
Ceph新技能Get
Ceph新技能Get | Ivan的博客
Ceph v10.2.3 RGW源码解析2
Ceph v10.2.3 RGW源码解析2 | Ivan的博客
Ceph v10.2.3 RGW源码解析1
Ceph v10.2.3 RGW源码解析1 | Ivan的博客
s3cmd使用说明
s3cmd使用说明 | Ivan的博客
vuejs工具链简介
vuejs工具链简介 | Ivan的博客
requirejs简介
requirejs简介 | Ivan的博客
可编程自动化输入方案(Mac下)
可编程自动化输入方案(Mac下) | Ivan的博客
Mesos Supress/Revive Offers测试
Mesos Supress/Revive Offers测试 | Ivan的博客
Mesos Offer生命周期杂记
Mesos Offer生命周期杂记 | Ivan的博客
Mesos Agent Containerizer分析
Mesos Agent Containerizer分析 | Ivan的博客
get started with createjs chapter 1 notes
get started with createjs chapter 1 notes | Ivan的博客
mesos agent /monitor/statistics返回数据业务意义
mesos agent /monitor/statistics返回数据业务意义 | Ivan的博客
mesos master/messages_deactivate_frameworks 不生效?
mesos master/messages_deactivate_frameworks 不生效? | Ivan的博客
KMP算法杂谈
KMP算法杂谈 | Ivan的博客
Mesos配置项深入分析
Mesos配置项深入分析 | Ivan的博客
mesos-master replicated_log存的是什么?
mesos-master replicated_log存的是什么? | Ivan的博客
mesos disk usage vs df 结果不一致问题
mesos disk usage vs df 结果不一致问题 | Ivan的博客
Mesos GC原理解析
Mesos GC原理解析 | Ivan的博客
准备mesos单机版开发测试环境
准备mesos单机版开发测试环境 | Ivan的博客
Mesos 1.0.0 源码解析杂记
Mesos 1.0.0 源码解析杂记 | Ivan的博客
stout学习笔记
stout学习笔记 | Ivan的博客
gflags学习笔记
gflags学习笔记 | Ivan的博客
ceph fuse挂载cephfs, ls不出文件列表问题,调试记录
ceph fuse挂载cephfs, ls不出文件列表问题,调试记录 | Ivan的博客
Ceph源码解析(3)-rados put过程探究
Ceph源码解析(3)-rados put过程探究 | Ivan的博客
Hub,Bridge,Switch和Gateway是什么?
Hub,Bridge,Switch和Gateway是什么? | Ivan的博客
数论学习笔记
数论学习笔记 | Ivan的博客
二分图专题解析
二分图专题解析 | Ivan的博客
Ceph Cluster调优日志
Ceph Cluster调优日志 | Ivan的博客
boost库的智能指针
boost库的智能指针 | Ivan的博客
Linux命令使用记录
Linux命令使用记录 | Ivan的博客
Vim Cheat Sheet
Vim Cheat Sheet | Ivan的博客
原码、反码、补码笔记
原码、反码、补码笔记 | Ivan的博客
ceph-deploy 配置文件比较 BUG
ceph-deploy 配置文件比较 BUG | Ivan的博客
Ceph源码解析(2)-rados put过程探究
Ceph源码解析(2)-rados put过程探究 | Ivan的博客
Ceph Release 概述
Ceph Release 概述 | Ivan的博客
Ceph CRUSH Map 维护详解
Ceph CRUSH Map 维护详解 | Ivan的博客
题解[第二周]
题解[第二周] | Ivan的博客
MathQuill Math Equation Cheatsheet
MathQuill Math Equation Cheatsheet | Ivan的博客
题解[第一周]
题解[第一周] | Ivan的博客
Ceph集群运维问题记录
Ceph集群运维问题记录 | Ivan的博客
linux man高级技巧
linux man高级技巧 | Ivan的博客
Git 我错了!
Git 我错了! | Ivan的博客
Ceph源码解析(1)-Create Pool过程探究
Ceph源码解析(1)-Create Pool过程探究 | Ivan的博客
准备Ceph开发环境
准备Ceph开发环境 | Ivan的博客
Ceph:Too Many PGs Per OSD
Ceph:Too Many PGs Per OSD | Ivan的博客
UVA 11292 题解
UVA 11292 题解 | Ivan的博客
Ceph RBD 文件映射实验笔记
Ceph RBD 文件映射实验笔记 | Ivan的博客
硬盘分区
硬盘分区 | Ivan的博客
硬盘模型
硬盘模型 | Ivan的博客
Ceph配置项
Ceph配置项 | Ivan的博客
OSTEP 文件系统实现
OSTEP 文件系统实现 | Ivan的博客
在Ceph底层xfs上找到你上传的文件
在Ceph底层xfs上找到你上传的文件 | Ivan的博客
使用s3cmd操作ceph rgw
使用s3cmd操作ceph rgw | Ivan的博客
Ceph核心概念备忘录
Ceph核心概念备忘录 | Ivan的博客
COSBench使用笔记
COSBench使用笔记 | Ivan的博客
使用saltstack部署运维ceph集群笔记
使用saltstack部署运维ceph集群笔记 | Ivan的博客
如何使用salt states?
如何使用salt states? | Ivan的博客
ceph-deploy命令详解
ceph-deploy命令详解 | Ivan的博客
dd笔记
dd笔记 | Ivan的博客
DTrace是什么?
DTrace是什么? | Ivan的博客
Ceph Cache Tier笔记
Ceph Cache Tier笔记 | Ivan的博客
Linux下理解filesystem/device/mount等概念
Linux下理解filesystem/device/mount等概念 | Ivan的博客
Base64编码详解与应用
Base64编码详解与应用 | Ivan的博客
URLEncoder学习笔记
URLEncoder学习笔记 | Ivan的博客
Ceph论文阅读笔记
Ceph论文阅读笔记 | Ivan的博客
使用Python inotify监控文件变化
使用Python inotify监控文件变化 | Ivan的博客
Git命令Snippets
Git命令Snippets | Ivan的博客

Ivanjobs.github.io Spined HTML


Ceph配置项 | Ivan的博客 最新文章 dev ops math algorithm personal 开始使用gtest 2018书单课单 2017年总结/2018年展望 寻找正确的语义[比赛总结] score_thresholder服务开发总结 Debug CPP Program On Ubuntu Modern CPP Developer Need To Know 汇编语言学习笔记 Mesos Quota 和 Reservation libprocess学习笔记 Consul使用笔记 SSH重新学习 Protocol buffers 代码入门 Mesos Slave 如何上报资源? Object Locator (Ceph) 探究笔记 librados接口使用 Ceph RGW Pools 浅析 在单机上搭建多Ceph集群 2016年总结/2017年展望 Dockerfile中RUN/CMD/ENTRYPOINT的区分 strace使用入门 Haystack论文学习笔记 Mesos关联配置 ZooKeeper概览 Ceph故障解析-filestore_merge_threshold 基于laravel+mysql的容器化DAL方案 vuejs使用小结1 Ceph新技能Get Ceph v10.2.3 RGW源码解析2 Ceph v10.2.3 RGW源码解析1 s3cmd使用说明 vuejs工具链简介 requirejs简介 mesos maintenance深度解析 可编程自动化输入方案(Mac下) Mesos Supress/Revive Offers测试 Mesos Offer生命周期杂记 MesosWage-earnerContainerizer分析 get started with createjs installment 1 notes mesos wage-earner /monitor/statistics返回数据业务意义 mesos master/messages_deactivate_frameworks 不生效? mesos /flags 403 forbidden? KMP算法杂谈 Mesos配置项深入分析 mesos-master replicated_log存的是什么? mesos disk usage vs df 结果不一致问题 Mesos GC原理解析 准备mesos单机版开发测试环境 Mesos 1.0.0 源码解析杂记 stout学习笔记 gflags学习笔记 ceph fuse挂载cephfs, ls不出文件列表问题,调试记录 Ceph源码解析(3)-rados put过程探究 Hub,Bridge,Switch和Gateway是什么? 数论学习笔记 二分图专题解析 Ceph Cluster调优日志 boost库的智能指针 Linux命令使用记录 Vim Cheat Sheet 原码、反码、补码笔记 ceph-deploy 配置文件比较 BUG Ceph源码解析(2)-rados put过程探究 Ceph Release 概述 Ceph CRUSH Map 维护详解 题解[第二周] MathQuill Math Equation Cheatsheet 题解[第一周] Ceph集群运维问题记录 linux man高级技巧 Git 我错了! Ceph源码解析(1)-Create Pool过程探究 准备Ceph开发环境 Ceph:Too Many PGs Per OSD UVA 11292 题解 Docker Private Registry(Ceph Swift) 搭建笔记 Ceph RBD 文件映射实验笔记 硬盘分区 硬盘模型 Ceph配置项 OSTEP 文件系统实现 在Ceph底层xfs上找到你上传的文件 使用s3cmd操作ceph rgw Ceph核心概念备忘录 COSBench使用笔记 GCJ2015 Qualification Round-B题解 使用saltstack部署运维ceph集群笔记 如何使用salt states? ceph-deploy命令详解 dd笔记 DTrace是什么? Ceph Cache Tier笔记 Linux下理解filesystem/device/mount等概念 Base64编码详解与应用 URLEncoder学习笔记 Ceph论文阅读笔记 使用Python inotify监控文件变化 Git命令Snippets 使用Nginx做LB MathQuill学习笔记 Docker化Laravel开发环境 Ceph Pool PG配置说明 Ceph 笔记 Ceph源码分析 Latex数学符号 为Ceph OSS服务搭建LB Ceph RGW S3接口测试:诡异的403 AccessDenied问题 访问Ceph RGW失败 403 Forbidden问题 解决历程 Ceph RADOS论文研读笔记 Ceph源码分析:从一个REST请求,到OSD存储。 各种开源代码协议简述 OpenStack Projects简述 OpenStack Ceilometer 笔记 RabbitMQ 和 oslo.messaging Ceph Rest API 身份验证方式(S3) tcpdump笔记 Ceph集群部署笔记 Python PEP8规范笔记 Python Decorator(装饰器)模式 笔记 libvirt笔记 OpenStack oslo 概览 OpenStack KeyStone API http://localhost:5000/ 源码追踪 Python pdb笔记 zero length variety in a struct Jenkins' Hash Functions NTP部署笔记 Linux iptables笔记 Python Paste笔记 Python PasteDeploy笔记 Python eventlet笔记 使用curl测试RESTful接口 ubuntu14.04下安装devstack devstack 安装指南【最简单】 Docker操作记录 git merge 详解 Python 包管理详解 阿里云服务器设置swapfile的方法 shell脚本编写向导 搭建Laravel全栈开发环境 2016 April 28 Ceph配置项 刚开始学习一个系统,可以从两个方面入手,一个是API,一个是配置。这边文档就是从配置的角度入手,探究ceph的内部原理和过程。ceph运行起来的时候,默认配置可以从源码文件src/common/config_opts.h中查看到。ceph的配置文件只有一个,即ceph.conf, 所有的配置都在这一个文件中。下面根据不同的服务来分类不同的配置项。 概述 ok,我们知道/etc/ceph.conf是所有配置发生的地方,它分为不同的section: global => 全局配置 osd => osd相关配置,也可指定到具体实例,osd id一定是数字 mon => mon相关配置,也可指定到具体实例,mon id可以是字符 mds => mds相关配置,也可指定到具体事例,mds id可以是字符 vendee => ceph集群客户端相关配置 ceph配置支持变量替换,我想大家已经在配置中看到过了$开头的变量。 ceph集群支持运行时更新配置,这个特性非常好。另外可以使用如下的命令,查看运行时的配置信息: ceph daemon {daemon-type}.{id} config show | less osd osd periodical size # 日志大小(MB),如果指向磁盘分区,则为该分区的大小,如果指向文件,则限制该文件大小。 # scrub配置 osd max scrubs # 对于一个osd来说,同时运行的scrub上限(猜测是控制线程个数)。 osd scrub thread timeout # 一个scrub任务运行超过该时间,即timeout。 osd scrub load threshold # 如果超过该load,则不启动scrub。 osd scrub min interval # 在load较低的情况下,超过该间隔,需要启动scrub。 osd scrub max interval # 不管load怎样,超过该阈值,启动scrub。 osd deep scrub interval # 超过该阈值间隔,启动deep scrub。 osd deep scrub stride # 做deep scrub时需要读取对象内容,该配置项,限制读取大小。 # operation配置 osd op threads # osd服务请求的线程数。 osd vendee op priority # (1-63) osd服务的请求有两种,一种是客户端请求,这里配置服务客户端请求的权重。 osd recovery op priority # 同上 osd disk threads # osd服务于磁盘任务的线程数,比如scrub等操作。 # backfill配置 osd max backfills # 单个osd上正在进行的最大的backfill个数. osd backfill scan min # backfill的时候需要扫描objects, 分很多次扫描啦,这个值控制扫描的最小粒度 osd backfill scan max # 同上 osd backfill full ratio # 当osd达到full ratio时,拒绝接受backfill请求 # osdmap配置 osd map dedup # 是否过滤重复项,默认true osd map message max # 每个MOSDMap message所能承载的map条目个数上限。 # recovery配置 osd recovery wait start # 在osd上线之后,会先peering,peering之后间隔一段时间,启动recovery。 osd recovery max zippy # 一个osd上,同时启动的recovery请求数。 osd recovery threads # 一个osd上启动多少个线程做recovery pool pg crush osd pool default pg num = 250 # 假设你一个有N个osd,副本数为R, 则pg数大约为 (100xN)/R。 osd pool default pgp num = 250 osd pool default min size = 1 # 在degrade模式下,允许写入的最少副本数。 osd crush chooseleaf type # chooseleaf的时候,把那种类型的bucket当作叶子。 osd pool default size # 设置pool的副本数 mon osd interaction osd heartbeat interval # 默认OSD每隔6秒check一下其他OSD的状态。 osd heartbeat grace # 如果OSD check其他OSD的时候,超过该阈值秒数没有返回,则标识该OSD为down。 mon osd min lanugo reports # OSD向MON报告某个OSD down, 需要报告多次,MON才会承认。 mon osd min lanugo reporters # 必须满足多个OSD向MON报告同一个OSD down时,MON才承认down。 osd mon heartbeat interval # 如果一个OSD 和其他OSD进行peering,失败了,则每隔30秒会直接找MON获取最新的cluster map mon osd min up ratio # 在考虑标记OSD为down之前,必须要满足的最小up ratio mon osd min in ratio # 在考虑标记OSD为out之前,必须满足的最小in ratio mon osd lanugo out interval # 在mark一个OSD down或者out的时候,如果该OSD不响应,最多等待的时间。 mon mon initial members # 设置初始monitors,可以强制形成quorum, 节省整个cluster的上线时间。 参考 ceph conf mon config osd config mon osd interaction periodical config pool and pg config Please enable JavaScript to view the comments powered by Disqus. All content is licensed under CC BY-NC-SA Buit with Jekyll and 3-Jekyll theme • Hosted on Github Table of Contents