ivanjobs.github.io - Mesos配置项深入分析

Mesos配置项深入分析 | Ivan的博客

Ivanjobs.github.io Spined HTML

Mesos配置项深入分析 | Ivan的博客 最新文章 dev ops math algorithm personal 开始使用gtest 2018书单课单 2017年总结/2018年展望 寻找正确的语义[比赛总结] score_thresholder服务开发总结 Debug CPP Program On Ubuntu Modern CPP Developer Need To Know 汇编语言学习笔记 Mesos Quota 和 Reservation libprocess学习笔记 Consul使用笔记 SSH重新学习 Protocol buffers 代码入门 Mesos Slave 如何上报资源？ Object Locator (Ceph) 探究笔记 librados接口使用 Ceph RGW Pools 浅析 在单机上搭建多Ceph集群 2016年总结/2017年展望 Dockerfile中RUN/CMD/ENTRYPOINT的区分 strace使用入门 Haystack论文学习笔记 Mesos关联配置 ZooKeeper概览 Ceph故障解析-filestore_merge_threshold 基于laravel+mysql的容器化DAL方案 vuejs使用小结1 Ceph新技能Get Ceph v10.2.3 RGW源码解析2 Ceph v10.2.3 RGW源码解析1 s3cmd使用说明 vuejs工具链简介 requirejs简介 mesos maintenance深度解析 可编程自动化输入方案(Mac下) Mesos Supress/Revive Offers测试 Mesos Offer生命周期杂记 MesosWage-earnerContainerizer分析 get started with createjs installment 1 notes mesos wage-earner /monitor/statistics返回数据业务意义 mesos master/messages_deactivate_frameworks 不生效？ mesos /flags 403 forbidden? KMP算法杂谈 Mesos配置项深入分析 mesos-master replicated_log存的是什么？ mesos disk usage vs df 结果不一致问题 Mesos GC原理解析 准备mesos单机版开发测试环境 Mesos 1.0.0 源码解析杂记 stout学习笔记 gflags学习笔记 ceph fuse挂载cephfs, ls不出文件列表问题，调试记录 Ceph源码解析(3)-rados put过程探究 Hub,Bridge,Switch和Gateway是什么？ 数论学习笔记 二分图专题解析 Ceph Cluster调优日志 boost库的智能指针 Linux命令使用记录 Vim Cheat Sheet 原码、反码、补码笔记 ceph-deploy 配置文件比较 BUG Ceph源码解析(2)-rados put过程探究 Ceph Release 概述 Ceph CRUSH Map 维护详解 题解[第二周] MathQuill Math Equation Cheatsheet 题解[第一周] Ceph集群运维问题记录 linux man高级技巧 Git 我错了！ Ceph源码解析(1)-Create Pool过程探究 准备Ceph开发环境 Ceph:Too Many PGs Per OSD UVA 11292 题解 Docker Private Registry(Ceph Swift) 搭建笔记 Ceph RBD 文件映射实验笔记 硬盘分区 硬盘模型 Ceph配置项 OSTEP 文件系统实现 在Ceph底层xfs上找到你上传的文件 使用s3cmd操作ceph rgw Ceph核心概念备忘录 COSBench使用笔记 GCJ2015 Qualification Round-B题解 使用saltstack部署运维ceph集群笔记 如何使用salt states? ceph-deploy命令详解 dd笔记 DTrace是什么？ Ceph Cache Tier笔记 Linux下理解filesystem/device/mount等概念 Base64编码详解与应用 URLEncoder学习笔记 Ceph论文阅读笔记 使用Python inotify监控文件变化 Git命令Snippets 使用Nginx做LB MathQuill学习笔记 Docker化Laravel开发环境 Ceph Pool PG配置说明 Ceph 笔记 Ceph源码分析 Latex数学符号 为Ceph OSS服务搭建LB Ceph RGW S3接口测试：诡异的403 AccessDenied问题 访问Ceph RGW失败 403 Forbidden问题 解决历程 Ceph RADOS论文研读笔记 Ceph源码分析：从一个REST请求，到OSD存储。 各种开源代码协议简述 OpenStack Projects简述 OpenStack Ceilometer 笔记 RabbitMQ 和 oslo.messaging Ceph Rest API 身份验证方式(S3) tcpdump笔记 Ceph集群部署笔记 Python PEP8规范笔记 Python Decorator(装饰器)模式 笔记 libvirt笔记 OpenStack oslo 概览 OpenStack KeyStone API http://localhost:5000/ 源码追踪 Python pdb笔记 zero length variety in a struct Jenkins' Hash Functions NTP部署笔记 Linux iptables笔记 Python Paste笔记 Python PasteDeploy笔记 Python eventlet笔记 使用curl测试RESTful接口 ubuntu14.04下安装devstack devstack 安装指南【最简单】 Docker操作记录 git merge 详解 Python 包管理详解 阿里云服务器设置swapfile的方法 shell脚本编写向导 搭建Laravel全栈开发环境 2016 September 02 Mesos配置项深入分析 Common –advertise_ip/–advertise_port 当mesos-master/agent在docker容器中运行时，docker默认使用的是bridge模式，那么mesos-master/agent绑定的就是Container里面的ip和端口，跨主机的Framework无法与其进行通信。 这两个flag就是为了解决这个问题的。 –firewall_rules 在Master/Agent启动时，会检查该flags，如果存在则会install防火墙规则。这里的防火墙是libprocess实现的， 用于disable使用libprocess上下文创建的HTTP endpoints。 –[no-]authenticate_http_readonly/[no-authenticate_http_readwrite] –http_authenticators=”basic”这个是默认的HTTP Authenticator，而且这个flag目前只能放一个值。 HTTP Basic Authentication可以认为是用户名、密码认证。readonly和readwrite用来给endpoints分类， 前者是只读，后者是可读可写。 –http_authenticators 可以使用内置的basic，也可以开发第三方库。 –ip/–port/–ip_discovery_command –ip是当前服务绑定的ip, –port是当前服务绑定的port。 ip_discovery_command相关逻辑： if (ip_discovery_command.isSome()) { Try<string> ipAddress = os::shell(ip_discovery_command.get()); if (ipAddress.isError()) { EXIT(EXIT_FAILURE) << ipAddress.error(); } Master –work_dir 这个是Master的工作目录，我们需要弄清楚目录下面放的是什么。 只有replicated_log目录, Agent目录下有Meta/Provisioner/Slaves目录。 –acls 这个flag是和–authorizers=local配合使用的，如果–authorizers!=local则此acls失效。 –[no-]root_submissions 是否支持root运行executor/tasks.我们在FrameworkInfo里可以看到： /** * Describes a framework. */ message FrameworkInfo { // Used to determine the Unix user that an executor or task should // be launched as. If the user field is set to an empty string Mesos // will automagically set it to the current user. required string user = 1; 第一个参数就是user，这个user如果没有设置，那么使用的是当前user，如果设置了则 使用设置的user，root_submissions是一个开关，是否支持root用户。Wage-earner–attributes Agent启动参数，用于设置Agent的相关属性，键值对形式。在Master上报Offer的时候，Offer里会带有attributes，这样方便实现自定义的Scheduler。 –recovery_timeout/–agent_ping_timeout/–max_agent_ping_timeouts –recovery_timeout表示的是，agent必须在这个timeout只能recovery成功，这样Executor/Task才能重连；否则，Executor/Task会被shutdown。 默认值15mins。 注意，这里的recovery_timeout的timer是设置在executor上的。executor接收到Agent退出消息后，就会设置该定时器， 定时器到了，会检查是否connected，如果true，则退出，否则就会自杀。 –max_agent_ping_timeouts和–agent_ping_timeout组合起来实现master对agent的health check, 默认是5 * 15s = 75s, 如果75ping没有得到response，则标记Agent为Removable，会关闭 Executor/Task, 即使后来Agent起来了，也会被shutdown。 那么这里就要问了，为什么默认的75s < 15mins呢？ 这两个过程会相互影响么？ 答案是不会的，一个是针对recovery过程, timer设置在executor上，一个是ping，在recovery过程中也可以接受ping给出response，所以不存在问题。 –modules/–container_logger 默认的container_logger是SandboxContainerLogger, 会将stderr/stdout重定向到sandbox中，并不会控制文件大小。 所以需要一种机制控制文件大小，或者关闭日志输出。 使用LogrotateContainerLogger, 这个是mesos自带的Logrotate。 自己写一个ContainerLogger, 什么事儿也不做。 –recover wage-earner recover的时候，是否连接旧的executor, 恢复status update。可以配置的值有两个reconnect/cleanup。 –perf_interval/–perf_duration perf是linux下的一个性能分析工具，perf_duration决定了取样操作的时长， 而perf_interval决定了多长时间取样一次。 Framework failover_timeout 默认是0.0，默认值会影响Framework做HA。推荐设置一个较长的时间，比如1week。 为什么会影响HA，HA的情况下，如果一个Framework Instance挂了，另一个Instance接管， 需要使用同一个Framework ID来和原先的Executor/Tasks做连接，如果使用默认值，那么久可能造成 原先的Executor/Task被关的可能。 Please enable JavaScript to view the comments powered by Disqus. All content is licensed under CC BY-NC-SA Buit with Jekyll and 3-Jekyll theme • Hosted on Github Table of Contents