ivanjobs.github.io - OSTEP 文件系统实现









Search Preview

OSTEP 文件系统实现 | Ivan的博客

ivanjobs.github.io
只要掌握两个方面的内容,就可以掌握文件系统,一个是数据结构,另一个是访问方法。数据结构关注的是文件系统的一个存储形式,访问方法关注的是文件系统的使用形式,两者有内在的对应关系。
.io > ivanjobs.github.io

SEO audit: Content analysis

Language Error! No language localisation is found.
Title OSTEP 文件系统实现 | Ivan的博客
Text / HTML ratio 35 %
Frame Excellent! The website does not use iFrame solutions.
Flash Excellent! The website does not have any flash contents.
Keywords cloud Ceph Mesos Python mesos OpenStack bitmap 题解 笔记 API RGW OSTEP 文件系统实现 v1023 inode put过程探究 CPP iptables笔记 length array
Keywords consistency
Keyword Content Title Description Headings
Ceph 14
Mesos 7
Python 7
mesos 5
OpenStack 4
bitmap 4
Headings
H1 H2 H3 H4 H5 H6
1 0 8 0 0 0
Images We found 1 images on this web page.

SEO Keywords (Single)

Keyword Occurrence Density
Ceph 14 0.70 %
Mesos 7 0.35 %
Python 7 0.35 %
mesos 5 0.25 %
OpenStack 4 0.20 %
bitmap 4 0.20 %
题解 3 0.15 %
笔记 3 0.15 %
API 2 0.10 %
RGW 2 0.10 %
OSTEP 2 0.10 %
文件系统实现 2 0.10 %
2 0.10 %
v1023 2 0.10 %
inode 2 0.10 %
put过程探究 2 0.10 %
CPP 2 0.10 %
iptables笔记 1 0.05 %
length 1 0.05 %
array 1 0.05 %

SEO Keywords (Two Word)

Keyword Occurrence Density
OSTEP 文件系统实现 2 0.10 %
Ceph RGW 2 0.10 %
Ceph v1023 2 0.10 %
最新文章 dev 1 0.05 %
pdb笔记 zero 1 0.05 %
Jenkins' Hash 1 0.05 %
struct Jenkins' 1 0.05 %
a struct 1 0.05 %
in a 1 0.05 %
array in 1 0.05 %
length array 1 0.05 %
zero length 1 0.05 %
源码追踪 Python 1 0.05 %
Python pdb笔记 1 0.05 %
Functions NTP部署笔记 1 0.05 %
httplocalhost5000 源码追踪 1 0.05 %
API httplocalhost5000 1 0.05 %
KeyStone API 1 0.05 %
OpenStack KeyStone 1 0.05 %
概览 OpenStack 1 0.05 %

SEO Keywords (Three Word)

Keyword Occurrence Density Possible Spam
最新文章 dev ops 1 0.05 % No
Python pdb笔记 zero 1 0.05 % No
Jenkins' Hash Functions 1 0.05 % No
struct Jenkins' Hash 1 0.05 % No
a struct Jenkins' 1 0.05 % No
in a struct 1 0.05 % No
array in a 1 0.05 % No
length array in 1 0.05 % No
zero length array 1 0.05 % No
pdb笔记 zero length 1 0.05 % No
源码追踪 Python pdb笔记 1 0.05 % No
Functions NTP部署笔记 Linux 1 0.05 % No
httplocalhost5000 源码追踪 Python 1 0.05 % No
API httplocalhost5000 源码追踪 1 0.05 % No
KeyStone API httplocalhost5000 1 0.05 % No
OpenStack KeyStone API 1 0.05 % No
概览 OpenStack KeyStone 1 0.05 % No
oslo 概览 OpenStack 1 0.05 % No
OpenStack oslo 概览 1 0.05 % No
libvirt笔记 OpenStack oslo 1 0.05 % No

SEO Keywords (Four Word)

Keyword Occurrence Density Possible Spam
最新文章 dev ops math 1 0.05 % No
Python pdb笔记 zero length 1 0.05 % No
Jenkins' Hash Functions NTP部署笔记 1 0.05 % No
struct Jenkins' Hash Functions 1 0.05 % No
a struct Jenkins' Hash 1 0.05 % No
in a struct Jenkins' 1 0.05 % No
array in a struct 1 0.05 % No
length array in a 1 0.05 % No
zero length array in 1 0.05 % No
pdb笔记 zero length array 1 0.05 % No
源码追踪 Python pdb笔记 zero 1 0.05 % No
Functions NTP部署笔记 Linux iptables笔记 1 0.05 % No
httplocalhost5000 源码追踪 Python pdb笔记 1 0.05 % No
API httplocalhost5000 源码追踪 Python 1 0.05 % No
KeyStone API httplocalhost5000 源码追踪 1 0.05 % No
OpenStack KeyStone API httplocalhost5000 1 0.05 % No
概览 OpenStack KeyStone API 1 0.05 % No
oslo 概览 OpenStack KeyStone 1 0.05 % No
OpenStack oslo 概览 OpenStack 1 0.05 % No
libvirt笔记 OpenStack oslo 概览 1 0.05 % No

Internal links in - ivanjobs.github.io

开始使用gtest
开始使用gtest | Ivan的博客
寻找正确的语义[比赛总结]
寻找正确的语义[比赛总结] | Ivan的博客
score_thresholder服务开发总结
score_thresholder服务开发总结 | Ivan的博客
Debug CPP Program On Ubuntu
Debug CPP Program On Ubuntu | Ivan的博客
Modern CPP Developer Need To Know
Modern CPP Developer Need To Know | Ivan的博客
汇编语言学习笔记
汇编语言学习笔记 | Ivan的博客
Mesos Quota 和 Reservation
Mesos Quota 和 Reservation | Ivan的博客
libprocess学习笔记
libprocess学习笔记 | Ivan的博客
Consul使用笔记
Consul使用笔记 | Ivan的博客
SSH重新学习
SSH重新学习 | Ivan的博客
Protocol buffers 代码入门
Protocol buffers 代码入门 | Ivan的博客
Mesos Slave 如何上报资源?
Mesos Slave 如何上报资源? | Ivan的博客
Object Locator (Ceph) 探究笔记
Object Locator (Ceph) 探究笔记 | Ivan的博客
librados接口使用
librados接口使用 | Ivan的博客
Ceph RGW Pools 浅析
Ceph RGW Pools 浅析 | Ivan的博客
在单机上搭建多Ceph集群
在单机上搭建多Ceph集群 | Ivan的博客
Dockerfile中RUN/CMD/ENTRYPOINT的区分
Dockerfile中RUN/CMD/ENTRYPOINT的区分 | Ivan的博客
strace使用入门
strace使用入门 | Ivan的博客
Haystack论文学习笔记
Haystack论文学习笔记 | Ivan的博客
Mesos关联配置
Mesos关联配置 | Ivan的博客
ZooKeeper概览
ZooKeeper概览 | Ivan的博客
Ceph故障解析-filestore_merge_threshold
Ceph故障解析-filestore_merge_threshold | Ivan的博客
基于laravel+mysql的容器化DAL方案
基于laravel+mysql的容器化DAL方案 | Ivan的博客
vuejs使用小结1
vuejs使用小结1 | Ivan的博客
Ceph新技能Get
Ceph新技能Get | Ivan的博客
Ceph v10.2.3 RGW源码解析2
Ceph v10.2.3 RGW源码解析2 | Ivan的博客
Ceph v10.2.3 RGW源码解析1
Ceph v10.2.3 RGW源码解析1 | Ivan的博客
s3cmd使用说明
s3cmd使用说明 | Ivan的博客
vuejs工具链简介
vuejs工具链简介 | Ivan的博客
requirejs简介
requirejs简介 | Ivan的博客
可编程自动化输入方案(Mac下)
可编程自动化输入方案(Mac下) | Ivan的博客
Mesos Supress/Revive Offers测试
Mesos Supress/Revive Offers测试 | Ivan的博客
Mesos Offer生命周期杂记
Mesos Offer生命周期杂记 | Ivan的博客
Mesos Agent Containerizer分析
Mesos Agent Containerizer分析 | Ivan的博客
get started with createjs chapter 1 notes
get started with createjs chapter 1 notes | Ivan的博客
mesos agent /monitor/statistics返回数据业务意义
mesos agent /monitor/statistics返回数据业务意义 | Ivan的博客
mesos master/messages_deactivate_frameworks 不生效?
mesos master/messages_deactivate_frameworks 不生效? | Ivan的博客
KMP算法杂谈
KMP算法杂谈 | Ivan的博客
Mesos配置项深入分析
Mesos配置项深入分析 | Ivan的博客
mesos-master replicated_log存的是什么?
mesos-master replicated_log存的是什么? | Ivan的博客
mesos disk usage vs df 结果不一致问题
mesos disk usage vs df 结果不一致问题 | Ivan的博客
Mesos GC原理解析
Mesos GC原理解析 | Ivan的博客
准备mesos单机版开发测试环境
准备mesos单机版开发测试环境 | Ivan的博客
Mesos 1.0.0 源码解析杂记
Mesos 1.0.0 源码解析杂记 | Ivan的博客
stout学习笔记
stout学习笔记 | Ivan的博客
gflags学习笔记
gflags学习笔记 | Ivan的博客
ceph fuse挂载cephfs, ls不出文件列表问题,调试记录
ceph fuse挂载cephfs, ls不出文件列表问题,调试记录 | Ivan的博客
Ceph源码解析(3)-rados put过程探究
Ceph源码解析(3)-rados put过程探究 | Ivan的博客
Hub,Bridge,Switch和Gateway是什么?
Hub,Bridge,Switch和Gateway是什么? | Ivan的博客
数论学习笔记
数论学习笔记 | Ivan的博客
二分图专题解析
二分图专题解析 | Ivan的博客
Ceph Cluster调优日志
Ceph Cluster调优日志 | Ivan的博客
boost库的智能指针
boost库的智能指针 | Ivan的博客
Linux命令使用记录
Linux命令使用记录 | Ivan的博客
Vim Cheat Sheet
Vim Cheat Sheet | Ivan的博客
原码、反码、补码笔记
原码、反码、补码笔记 | Ivan的博客
ceph-deploy 配置文件比较 BUG
ceph-deploy 配置文件比较 BUG | Ivan的博客
Ceph源码解析(2)-rados put过程探究
Ceph源码解析(2)-rados put过程探究 | Ivan的博客
Ceph Release 概述
Ceph Release 概述 | Ivan的博客
Ceph CRUSH Map 维护详解
Ceph CRUSH Map 维护详解 | Ivan的博客
题解[第二周]
题解[第二周] | Ivan的博客
MathQuill Math Equation Cheatsheet
MathQuill Math Equation Cheatsheet | Ivan的博客
题解[第一周]
题解[第一周] | Ivan的博客
Ceph集群运维问题记录
Ceph集群运维问题记录 | Ivan的博客
linux man高级技巧
linux man高级技巧 | Ivan的博客
Git 我错了!
Git 我错了! | Ivan的博客
Ceph源码解析(1)-Create Pool过程探究
Ceph源码解析(1)-Create Pool过程探究 | Ivan的博客
准备Ceph开发环境
准备Ceph开发环境 | Ivan的博客
Ceph:Too Many PGs Per OSD
Ceph:Too Many PGs Per OSD | Ivan的博客
UVA 11292 题解
UVA 11292 题解 | Ivan的博客
Ceph RBD 文件映射实验笔记
Ceph RBD 文件映射实验笔记 | Ivan的博客
硬盘分区
硬盘分区 | Ivan的博客
硬盘模型
硬盘模型 | Ivan的博客
Ceph配置项
Ceph配置项 | Ivan的博客
OSTEP 文件系统实现
OSTEP 文件系统实现 | Ivan的博客
在Ceph底层xfs上找到你上传的文件
在Ceph底层xfs上找到你上传的文件 | Ivan的博客
使用s3cmd操作ceph rgw
使用s3cmd操作ceph rgw | Ivan的博客
Ceph核心概念备忘录
Ceph核心概念备忘录 | Ivan的博客
COSBench使用笔记
COSBench使用笔记 | Ivan的博客
使用saltstack部署运维ceph集群笔记
使用saltstack部署运维ceph集群笔记 | Ivan的博客
如何使用salt states?
如何使用salt states? | Ivan的博客
ceph-deploy命令详解
ceph-deploy命令详解 | Ivan的博客
dd笔记
dd笔记 | Ivan的博客
DTrace是什么?
DTrace是什么? | Ivan的博客
Ceph Cache Tier笔记
Ceph Cache Tier笔记 | Ivan的博客
Linux下理解filesystem/device/mount等概念
Linux下理解filesystem/device/mount等概念 | Ivan的博客
Base64编码详解与应用
Base64编码详解与应用 | Ivan的博客
URLEncoder学习笔记
URLEncoder学习笔记 | Ivan的博客
Ceph论文阅读笔记
Ceph论文阅读笔记 | Ivan的博客
使用Python inotify监控文件变化
使用Python inotify监控文件变化 | Ivan的博客
Git命令Snippets
Git命令Snippets | Ivan的博客

Ivanjobs.github.io Spined HTML


OSTEP 文件系统实现 | Ivan的博客 最新文章 dev ops math algorithm personal 开始使用gtest 2018书单课单 2017年总结/2018年展望 寻找正确的语义[比赛总结] score_thresholder服务开发总结 Debug CPP Program On Ubuntu Modern CPP Developer Need To Know 汇编语言学习笔记 Mesos Quota 和 Reservation libprocess学习笔记 Consul使用笔记 SSH重新学习 Protocol buffers 代码入门 Mesos Slave 如何上报资源? Object Locator (Ceph) 探究笔记 librados接口使用 Ceph RGW Pools 浅析 在单机上搭建多Ceph集群 2016年总结/2017年展望 Dockerfile中RUN/CMD/ENTRYPOINT的区分 strace使用入门 Haystack论文学习笔记 Mesos关联配置 ZooKeeper概览 Ceph故障解析-filestore_merge_threshold 基于laravel+mysql的容器化DAL方案 vuejs使用小结1 Ceph新技能Get Ceph v10.2.3 RGW源码解析2 Ceph v10.2.3 RGW源码解析1 s3cmd使用说明 vuejs工具链简介 requirejs简介 mesos maintenance深度解析 可编程自动化输入方案(Mac下) Mesos Supress/Revive Offers测试 Mesos Offer生命周期杂记 MesosWage-earnerContainerizer分析 get started with createjs installment 1 notes mesos wage-earner /monitor/statistics返回数据业务意义 mesos master/messages_deactivate_frameworks 不生效? mesos /flags 403 forbidden? KMP算法杂谈 Mesos配置项深入分析 mesos-master replicated_log存的是什么? mesos disk usage vs df 结果不一致问题 Mesos GC原理解析 准备mesos单机版开发测试环境 Mesos 1.0.0 源码解析杂记 stout学习笔记 gflags学习笔记 ceph fuse挂载cephfs, ls不出文件列表问题,调试记录 Ceph源码解析(3)-rados put过程探究 Hub,Bridge,Switch和Gateway是什么? 数论学习笔记 二分图专题解析 Ceph Cluster调优日志 boost库的智能指针 Linux命令使用记录 Vim Cheat Sheet 原码、反码、补码笔记 ceph-deploy 配置文件比较 BUG Ceph源码解析(2)-rados put过程探究 Ceph Release 概述 Ceph CRUSH Map 维护详解 题解[第二周] MathQuill Math Equation Cheatsheet 题解[第一周] Ceph集群运维问题记录 linux man高级技巧 Git 我错了! Ceph源码解析(1)-Create Pool过程探究 准备Ceph开发环境 Ceph:Too Many PGs Per OSD UVA 11292 题解 Docker Private Registry(Ceph Swift) 搭建笔记 Ceph RBD 文件映射实验笔记 硬盘分区 硬盘模型 Ceph配置项 OSTEP 文件系统实现 在Ceph底层xfs上找到你上传的文件 使用s3cmd操作ceph rgw Ceph核心概念备忘录 COSBench使用笔记 GCJ2015 Qualification Round-B题解 使用saltstack部署运维ceph集群笔记 如何使用salt states? ceph-deploy命令详解 dd笔记 DTrace是什么? Ceph Cache Tier笔记 Linux下理解filesystem/device/mount等概念 Base64编码详解与应用 URLEncoder学习笔记 Ceph论文阅读笔记 使用Python inotify监控文件变化 Git命令Snippets 使用Nginx做LB MathQuill学习笔记 Docker化Laravel开发环境 Ceph Pool PG配置说明 Ceph 笔记 Ceph源码分析 Latex数学符号 为Ceph OSS服务搭建LB Ceph RGW S3接口测试:诡异的403 AccessDenied问题 访问Ceph RGW失败 403 Forbidden问题 解决历程 Ceph RADOS论文研读笔记 Ceph源码分析:从一个REST请求,到OSD存储。 各种开源代码协议简述 OpenStack Projects简述 OpenStack Ceilometer 笔记 RabbitMQ 和 oslo.messaging Ceph Rest API 身份验证方式(S3) tcpdump笔记 Ceph集群部署笔记 Python PEP8规范笔记 Python Decorator(装饰器)模式 笔记 libvirt笔记 OpenStack oslo 概览 OpenStack KeyStone API http://localhost:5000/ 源码追踪 Python pdb笔记 zero length variety in a struct Jenkins' Hash Functions NTP部署笔记 Linux iptables笔记 Python Paste笔记 Python PasteDeploy笔记 Python eventlet笔记 使用curl测试RESTful接口 ubuntu14.04下安装devstack devstack 安装指南【最简单】 Docker操作记录 git merge 详解 Python 包管理详解 阿里云服务器设置swapfile的方法 shell脚本编写向导 搭建Laravel全栈开发环境 2016 April 27 OSTEP 文件系统实现 只要掌握两个方面的内容,就可以掌握文件系统,一个是数据结构,另一个是访问方法。数据结构关注的是文件系统的一个存储形式,访问方法关注的是文件系统的使用形式,两者有内在的对应关系。 vsfs存储布局 磁盘按照4KB划分一个block,一共有64个blcok。 后7x8个block用作data region, 存储文件内容。 第3-7个block用作inode table, 存储inode结构,每一个inode结构占用的空间是固定的,所以可以计算出存储inode个数上限。 第2个block,作为一个bitmap,保存data region中free的block情况。 第1个block,作为一个bitmap,保存inode table中free的inode空间情况。 第0个block,叫做Super Block, 包括一些信息:总共多少个data blocks, 多少个inodes, inode table从哪里开始等等。也有可能包含一个magic number,用于代表文件系统类型。操作系统mount文件系统的时候,会首先读取Super Block中的内容,初始化一些信息,然后把当前卷挂到文件目录树中,当访问该目录的时候,操作系统就知道如何去定位文件和文件元数据了。 inode 有了以上存储布局的规划,我们很容易根据一个inode number,计算到该inode的地址,进而读取内容。inode中除了包含我们常见的一些元数据外,比较关键的是其如何表达文件内容的位置,即一些blocks。一种方法是,直接存多个blocks的地址,这样的方法比较简单直接,但是我们知道inode结构的空间是均匀有限的,如果文件很大,存不下怎么办? 这时候的一种方案是,利用data region的block存储地址,在inode中只保存一个间接地址,这个地址指向的block包含更多的实际指向data block的地址,可以按照这个思路解决大文件的问题。可以增加间接引用的存储,这样可以引用更多的blocks,也就是multi-level index。ext2,ext3等文件系统,都使用了muti-level index; xfs,ext4使用了extents。 另外一种方案是使用extents, 在inode里保存一个(地址,length)结构的数据,表示从某个block开始连续的length个block的大block, 这样我们可以存储多个extents在inode里,同样可以指向一个大文件。(extents类似内存管理里的segments) directory Unix中一切皆文件,目录和文件一样,使用data blocks存储内容,内容的格式其实是一个list(inum, name)的形式,在inode里保存了type以区别其他文件格式。也有使用B-tree来存储目录的,比如XFS,这样操作起来效率比list更高。 self-ruling space management 剩余空间追踪对于文件系统来说非常重要,因为它是分配空间的前提。vsfs使用简单的bitmap来追踪剩余空间(即可用的data blocks)。还有一些更高级的管理方法,一种是在Super Block中保存一个free list指针头,将可用的空间链在一个链表里。还有一种方法是利用B-tree结构来保存free list(XFS文件系统的用法) 读取文件 open(filename, ‘r’): 根目录的inum是已知的,根据根目录递归遍历到指定文件,获取inum,进而将inode内容读取到内存中,做权限检查,并且分配一个fd到进程打开文件列表,并且返回fd给用户,fd通常是一个int值。 read(): 根据inode内容,找到对应的数据block,并且进行读取,修改last update时间,更新进程打开文件的offset等。 写文件 这里不细说了,可以基于存储布局和读取文件的过程去想象。如果是创建一个新文件并且写入,这个是最复杂的。首先需要把文件创建出来,主要是inode分配,读取inode bitmap, 设置inode bitmap, 写入inode内容,读取data bitmap, 设置data bitmap, 更新inode, 写入数据,更新timestamp。 io buffer 需要了解的是,文件系统的读写,现代操作系统都有缓存的机制。一些应用不希望使用buffer机制,所以调用fsync(),或者使用Direct I/O接口,或者直接使用raw disk的接口。 参考 ostep filesytem implementation Please enable JavaScript to view the comments powered by Disqus. All content is licensed under CC BY-NC-SA Buit with Jekyll and 3-Jekyll theme • Hosted on Github Table of Contents