ivanjobs.github.io - Mesos关联配置

Mesos关联配置 | Ivan的博客

Ivanjobs.github.io Spined HTML

Mesos关联配置 | Ivan的博客 最新文章 dev ops math algorithm personal 开始使用gtest 2018书单课单 2017年总结/2018年展望 寻找正确的语义[比赛总结] score_thresholder服务开发总结 Debug CPP Program On Ubuntu Modern CPP Developer Need To Know 汇编语言学习笔记 Mesos Quota 和 Reservation libprocess学习笔记 Consul使用笔记 SSH重新学习 Protocol buffers 代码入门 Mesos Slave 如何上报资源？ Object Locator (Ceph) 探究笔记 librados接口使用 Ceph RGW Pools 浅析 在单机上搭建多Ceph集群 2016年总结/2017年展望 Dockerfile中RUN/CMD/ENTRYPOINT的区分 strace使用入门 Haystack论文学习笔记 Mesos关联配置 ZooKeeper概览 Ceph故障解析-filestore_merge_threshold 基于laravel+mysql的容器化DAL方案 vuejs使用小结1 Ceph新技能Get Ceph v10.2.3 RGW源码解析2 Ceph v10.2.3 RGW源码解析1 s3cmd使用说明 vuejs工具链简介 requirejs简介 mesos maintenance深度解析 可编程自动化输入方案(Mac下) Mesos Supress/Revive Offers测试 Mesos Offer生命周期杂记 MesosWage-earnerContainerizer分析 get started with createjs installment 1 notes mesos wage-earner /monitor/statistics返回数据业务意义 mesos master/messages_deactivate_frameworks 不生效？ mesos /flags 403 forbidden? KMP算法杂谈 Mesos配置项深入分析 mesos-master replicated_log存的是什么？ mesos disk usage vs df 结果不一致问题 Mesos GC原理解析 准备mesos单机版开发测试环境 Mesos 1.0.0 源码解析杂记 stout学习笔记 gflags学习笔记 ceph fuse挂载cephfs, ls不出文件列表问题，调试记录 Ceph源码解析(3)-rados put过程探究 Hub,Bridge,Switch和Gateway是什么？ 数论学习笔记 二分图专题解析 Ceph Cluster调优日志 boost库的智能指针 Linux命令使用记录 Vim Cheat Sheet 原码、反码、补码笔记 ceph-deploy 配置文件比较 BUG Ceph源码解析(2)-rados put过程探究 Ceph Release 概述 Ceph CRUSH Map 维护详解 题解[第二周] MathQuill Math Equation Cheatsheet 题解[第一周] Ceph集群运维问题记录 linux man高级技巧 Git 我错了！ Ceph源码解析(1)-Create Pool过程探究 准备Ceph开发环境 Ceph:Too Many PGs Per OSD UVA 11292 题解 Docker Private Registry(Ceph Swift) 搭建笔记 Ceph RBD 文件映射实验笔记 硬盘分区 硬盘模型 Ceph配置项 OSTEP 文件系统实现 在Ceph底层xfs上找到你上传的文件 使用s3cmd操作ceph rgw Ceph核心概念备忘录 COSBench使用笔记 GCJ2015 Qualification Round-B题解 使用saltstack部署运维ceph集群笔记 如何使用salt states? ceph-deploy命令详解 dd笔记 DTrace是什么？ Ceph Cache Tier笔记 Linux下理解filesystem/device/mount等概念 Base64编码详解与应用 URLEncoder学习笔记 Ceph论文阅读笔记 使用Python inotify监控文件变化 Git命令Snippets 使用Nginx做LB MathQuill学习笔记 Docker化Laravel开发环境 Ceph Pool PG配置说明 Ceph 笔记 Ceph源码分析 Latex数学符号 为Ceph OSS服务搭建LB Ceph RGW S3接口测试：诡异的403 AccessDenied问题 访问Ceph RGW失败 403 Forbidden问题 解决历程 Ceph RADOS论文研读笔记 Ceph源码分析：从一个REST请求，到OSD存储。 各种开源代码协议简述 OpenStack Projects简述 OpenStack Ceilometer 笔记 RabbitMQ 和 oslo.messaging Ceph Rest API 身份验证方式(S3) tcpdump笔记 Ceph集群部署笔记 Python PEP8规范笔记 Python Decorator(装饰器)模式 笔记 libvirt笔记 OpenStack oslo 概览 OpenStack KeyStone API http://localhost:5000/ 源码追踪 Python pdb笔记 zero length variety in a struct Jenkins' Hash Functions NTP部署笔记 Linux iptables笔记 Python Paste笔记 Python PasteDeploy笔记 Python eventlet笔记 使用curl测试RESTful接口 ubuntu14.04下安装devstack devstack 安装指南【最简单】 Docker操作记录 git merge 详解 Python 包管理详解 阿里云服务器设置swapfile的方法 shell脚本编写向导 搭建Laravel全栈开发环境 2016 December 15 Mesos关联配置 在修改Mesos配置的过程中，有一种情况，极其需要留意，那就是有关联的配置项。如果在运维过程中， 仅仅修改了关联配置中的某一项或者某几项，就必定会给Mesos集群造成意料之外的影响，甚至灾难级别。 本文旨在罗列出这些配置项，并且给出简要的解释说明。 zk地址 Mesos集群中，Master和Agent都用到了zk地址。zk地址的更新是联动的，这里的联动不是配置项的联动，而且实例的联动。 涉及到的配置项分别是：MESOS_ZK 和 MESOS_MASTER。Master因为是多实例HA的架构，所以比较特殊，Master的所有配置项都是在Master实例间联动的。 这里我们只把Agent的配置项拎出来，那就是MESOS_MASTER。 认证和授权 认证授权这块有点烦，牵涉到好几个方面。一个是Framework，一个是Agent，另外还有API。Framework又分为Native的和HTTP的。我们这里只关注HTTP Framework。 默认情况下，认证授权是完全开放的，也就是说任何HTTP Framework都能注册，任何Agent都能注册。打开AUTHENTICATE_HTTP_FRAMEWORK=true, 重启Master失败： 1216 11:32:46.754592 452 authenticator.cpp:519] Initializing server SASL Missing `--http_framework_authenticators` flag. This must be used in conjunction with `--authenticate_http_frameworks` 由此报错，得出我们的第一份联动配置： AUTHENTICATE_HTTP_FRAMEWORKS 和 HTTP_FRAMEWORK_AUTHENTICATORS 添加HTTP_FRAMEWORK_AUTHENTICATORS之后，仍然报错： I1216 11:37:35.961658 536 authenticator.cpp:519] Initializing server SASL No credentials provided for the default 'basic' HTTP authenticator for realm 'mesos-master-scheduler' 大致意思是，没有提供credentials。所以，上面的结论需要增加一项，即：AUTHENTICATE_HTTP_FRAMEWORKS, HTTP_FRAMEWORK_AUTHENTICATORS 和 CREDENTIALS。 添加credentials配置，重启master成功。调用测试脚本，得： Mesos version running at 1.0.0 Connecting to Master: http://10.12.10.37:5050/api/v1/scheduler soul type: SUBSCRIBE The preliminaries waterworks was started to http://10.12.10.37:5050/api/v1/scheduler Error [401] sending request: ..........Failed to register, terminating Framework 果然401，未授权。 因为我的测试脚本里，不涉及如何在HTTP Framework注册Master时提供principal和secret，所以得先弄明白这个事情。在研究的过程中，发现一个彩蛋： // This field should match the credential's principal the framework // uses for authentication. This field is used for framework API // rate limiting and dynamic reservations. It should be set plane // if hallmark is not enabled if these features are desired. 意思是说即使身份验证没有，我们也需要提供principal，因为QoS的特性依赖于principal。 弄明白了，HTTP Basic的验证方式，需要按照一定的规则，编码principal和secret于header中。 以上讲的是认证，Agent注册以及HTTP Endpoint的身份验证类似，这里不赘述了。下面研究一下授权相关的联动配置。 好吧，我承认越写越偏离本文主旨了，关于身份验证和授权的原理性认识，就放到别处，这里专注在联动配置项。 授权的方式，可以通过：AUTHORIZERS=来指定，默认使用的是local，再配合acls工作。所以AUTHORIZERS 和 ACLS是联动的，但联动关系较弱。 总结一下，认证和授权有以下联动配置项： AUTHENTICATE_HTTP_FRAMEWORKS, HTTP_FRAMEWORK_AUTHENTICATORS, CREDENTIALS AUTHORIZERS, ACLS AUTHENTICATE_AGENTS, CREDENTIALS 总结 联动配置项，目前掌握的就这些，后面肯定也有一些，但总量是少的。这些配置项的更新，不需要冠以“联动配置更新”的名字， 放在同一个菜单下面，而可以单独开辟功能，以其业务名称命名即可。身份验证和授权的更改，就可以单独拎出来。 参考 Mesos Configuration Please enable JavaScript to view the comments powered by Disqus. All content is licensed under CC BY-NC-SA Buit with Jekyll and 3-Jekyll theme • Hosted on Github Table of Contents