ivanjobs.github.io - 硬盘模型

硬盘模型 | Ivan的博客

Ivanjobs.github.io Spined HTML

硬盘模型 | Ivan的博客 最新文章 dev ops math algorithm personal 开始使用gtest 2018书单课单 2017年总结/2018年展望 寻找正确的语义[比赛总结] score_thresholder服务开发总结 Debug CPP Program On Ubuntu Modern CPP Developer Need To Know 汇编语言学习笔记 Mesos Quota 和 Reservation libprocess学习笔记 Consul使用笔记 SSH重新学习 Protocol buffers 代码入门 Mesos Slave 如何上报资源？ Object Locator (Ceph) 探究笔记 librados接口使用 Ceph RGW Pools 浅析 在单机上搭建多Ceph集群 2016年总结/2017年展望 Dockerfile中RUN/CMD/ENTRYPOINT的区分 strace使用入门 Haystack论文学习笔记 Mesos关联配置 ZooKeeper概览 Ceph故障解析-filestore_merge_threshold 基于laravel+mysql的容器化DAL方案 vuejs使用小结1 Ceph新技能Get Ceph v10.2.3 RGW源码解析2 Ceph v10.2.3 RGW源码解析1 s3cmd使用说明 vuejs工具链简介 requirejs简介 mesos maintenance深度解析 可编程自动化输入方案(Mac下) Mesos Supress/Revive Offers测试 Mesos Offer生命周期杂记 MesosWage-earnerContainerizer分析 get started with createjs installment 1 notes mesos wage-earner /monitor/statistics返回数据业务意义 mesos master/messages_deactivate_frameworks 不生效？ mesos /flags 403 forbidden? KMP算法杂谈 Mesos配置项深入分析 mesos-master replicated_log存的是什么？ mesos disk usage vs df 结果不一致问题 Mesos GC原理解析 准备mesos单机版开发测试环境 Mesos 1.0.0 源码解析杂记 stout学习笔记 gflags学习笔记 ceph fuse挂载cephfs, ls不出文件列表问题，调试记录 Ceph源码解析(3)-rados put过程探究 Hub,Bridge,Switch和Gateway是什么？ 数论学习笔记 二分图专题解析 Ceph Cluster调优日志 boost库的智能指针 Linux命令使用记录 Vim Cheat Sheet 原码、反码、补码笔记 ceph-deploy 配置文件比较 BUG Ceph源码解析(2)-rados put过程探究 Ceph Release 概述 Ceph CRUSH Map 维护详解 题解[第二周] MathQuill Math Equation Cheatsheet 题解[第一周] Ceph集群运维问题记录 linux man高级技巧 Git 我错了！ Ceph源码解析(1)-Create Pool过程探究 准备Ceph开发环境 Ceph:Too Many PGs Per OSD UVA 11292 题解 Docker Private Registry(Ceph Swift) 搭建笔记 Ceph RBD 文件映射实验笔记 硬盘分区 硬盘模型 Ceph配置项 OSTEP 文件系统实现 在Ceph底层xfs上找到你上传的文件 使用s3cmd操作ceph rgw Ceph核心概念备忘录 COSBench使用笔记 GCJ2015 Qualification Round-B题解 使用saltstack部署运维ceph集群笔记 如何使用salt states? ceph-deploy命令详解 dd笔记 DTrace是什么？ Ceph Cache Tier笔记 Linux下理解filesystem/device/mount等概念 Base64编码详解与应用 URLEncoder学习笔记 Ceph论文阅读笔记 使用Python inotify监控文件变化 Git命令Snippets 使用Nginx做LB MathQuill学习笔记 Docker化Laravel开发环境 Ceph Pool PG配置说明 Ceph 笔记 Ceph源码分析 Latex数学符号 为Ceph OSS服务搭建LB Ceph RGW S3接口测试：诡异的403 AccessDenied问题 访问Ceph RGW失败 403 Forbidden问题 解决历程 Ceph RADOS论文研读笔记 Ceph源码分析：从一个REST请求，到OSD存储。 各种开源代码协议简述 OpenStack Projects简述 OpenStack Ceilometer 笔记 RabbitMQ 和 oslo.messaging Ceph Rest API 身份验证方式(S3) tcpdump笔记 Ceph集群部署笔记 Python PEP8规范笔记 Python Decorator(装饰器)模式 笔记 libvirt笔记 OpenStack oslo 概览 OpenStack KeyStone API http://localhost:5000/ 源码追踪 Python pdb笔记 zero length variety in a struct Jenkins' Hash Functions NTP部署笔记 Linux iptables笔记 Python Paste笔记 Python PasteDeploy笔记 Python eventlet笔记 使用curl测试RESTful接口 ubuntu14.04下安装devstack devstack 安装指南【最简单】 Docker操作记录 git merge 详解 Python 包管理详解 阿里云服务器设置swapfile的方法 shell脚本编写向导 搭建Laravel全栈开发环境 2016 April 28 硬盘模型 作为一个专注于存储的工程师，有必要了解一下硬盘的存储模型，硬盘是过去几十年支持计算机的主要存储形式。 核心概念 现代的磁盘是以扇区为读写的最小粒度，也就是说硬盘层可以保证扇区级的原子读写。并且有几个假设，读取临近的扇区比读取不临近的扇区速度要快，顺序读写要比随机读写快。 一块硬盘，包含多个Platter(盘片)，这些个盘片以一个旋转的读写轴头(Spindle)为圆心，每个盘片上分为多个Track(轨道)，每个Track上有多个Sector，每个Sector 512 Bytes。硬盘的转速在7200RPM~15000RPM之间。在进行读写的时候，涉及到两个概念Disk Head(磁头)，和Disk Arm(磁臂)。每个盘片的上下两个面都会各有一个磁头，磁臂只有一个，上下穿梭于盘片之间。在同一个Track上定位盘片，这个时间叫做Seek Time, 磁头是用来定位扇区的，这个叫做Rotational Delay。读写数据所需要的时间叫做Transfer, 所以为了实现一次磁盘的读写请求，大体上包括三个时间, Seek, Rotate, Transfer。 有一个概念叫做Track Skew, 因为Seek需要时间/不同半径的Track拥有不同的Sector个数，所以需要一个Skew来平衡。 disk cache是一个内存区域，可以用来放置读取或者写入的数据。有两种类型的cache, 一个是Write Back，一个是Write Through, 前一个是写入cache即ack，后一个是写入磁盘再ack。 磁盘I/O调度 SSTF: 最短寻道时间为先，把一系列的磁盘IO请求，按照track就近排列。 NBF: block最近优先调度。 以上两种磁盘调度算法，都会出现starving的问题，也就是说，如果情况凑巧，有些磁盘IO请求，永远都不会得到处理。为了解决starving的问题，就出现了一种叫做SCAN的算法，也叫做Elevator算法，这种算法，就是一遍遍的扫描，从1楼到顶楼，再从顶楼到1楼诸如此类，核心思想在这里了，根据扫描方式的不同，也有一些变种。 那么SCAN是最好的磁盘调度算法么？当然不是，因为SCAN只考虑了变道层面的问题，也就是Seek Time的开销，没有考虑Rotate Time的开销，这样显然不是最优的了。 什么是最好的磁盘调度算法？这个得具体情况具体分析。其中需要考虑的因素之一是Seek Time和Rotate Time的大小，这个是决定哪一个请求先被服务的一个因素，当然也有其他的很多因素，在这些上下文条件确定的情况下，我们才可以去评判具体的哪一种调度算法最优。另外，IO合并也是一个需要考虑的因素。 总结 这里总结的是机械硬盘的模型，SSD是另外一回事。记住核心的概念即可，比如Platter/Track/Sector/Spindle/Seek Time/Rotate Time/Transfer Time等。 参考 file disk Please enable JavaScript to view the comments powered by Disqus. All content is licensed under CC BY-NC-SA Buit with Jekyll and 3-Jekyll theme • Hosted on Github Table of Contents