ivanjobs.github.io - Protocol buffers 代码入门

Protocol buffers 代码入门 | Ivan的博客

Ivanjobs.github.io Spined HTML

Protocol buffers 代码入门 | Ivan的博客 最新文章 dev ops math algorithm personal 开始使用gtest 2018书单课单 2017年总结/2018年展望 寻找正确的语义[比赛总结] score_thresholder服务开发总结 Debug CPP Program On Ubuntu Modern CPP Developer Need To Know 汇编语言学习笔记 Mesos Quota 和 Reservation libprocess学习笔记 Consul使用笔记 SSH重新学习 Protocol buffers 代码入门 Mesos Slave 如何上报资源？ Object Locator (Ceph) 探究笔记 librados接口使用 Ceph RGW Pools 浅析 在单机上搭建多Ceph集群 2016年总结/2017年展望 Dockerfile中RUN/CMD/ENTRYPOINT的区分 strace使用入门 Haystack论文学习笔记 Mesos关联配置 ZooKeeper概览 Ceph故障解析-filestore_merge_threshold 基于laravel+mysql的容器化DAL方案 vuejs使用小结1 Ceph新技能Get Ceph v10.2.3 RGW源码解析2 Ceph v10.2.3 RGW源码解析1 s3cmd使用说明 vuejs工具链简介 requirejs简介 mesos maintenance深度解析 可编程自动化输入方案(Mac下) Mesos Supress/Revive Offers测试 Mesos Offer生命周期杂记 MesosWage-earnerContainerizer分析 get started with createjs installment 1 notes mesos wage-earner /monitor/statistics返回数据业务意义 mesos master/messages_deactivate_frameworks 不生效？ mesos /flags 403 forbidden? KMP算法杂谈 Mesos配置项深入分析 mesos-master replicated_log存的是什么？ mesos disk usage vs df 结果不一致问题 Mesos GC原理解析 准备mesos单机版开发测试环境 Mesos 1.0.0 源码解析杂记 stout学习笔记 gflags学习笔记 ceph fuse挂载cephfs, ls不出文件列表问题，调试记录 Ceph源码解析(3)-rados put过程探究 Hub,Bridge,Switch和Gateway是什么？ 数论学习笔记 二分图专题解析 Ceph Cluster调优日志 boost库的智能指针 Linux命令使用记录 Vim Cheat Sheet 原码、反码、补码笔记 ceph-deploy 配置文件比较 BUG Ceph源码解析(2)-rados put过程探究 Ceph Release 概述 Ceph CRUSH Map 维护详解 题解[第二周] MathQuill Math Equation Cheatsheet 题解[第一周] Ceph集群运维问题记录 linux man高级技巧 Git 我错了！ Ceph源码解析(1)-Create Pool过程探究 准备Ceph开发环境 Ceph:Too Many PGs Per OSD UVA 11292 题解 Docker Private Registry(Ceph Swift) 搭建笔记 Ceph RBD 文件映射实验笔记 硬盘分区 硬盘模型 Ceph配置项 OSTEP 文件系统实现 在Ceph底层xfs上找到你上传的文件 使用s3cmd操作ceph rgw Ceph核心概念备忘录 COSBench使用笔记 GCJ2015 Qualification Round-B题解 使用saltstack部署运维ceph集群笔记 如何使用salt states? ceph-deploy命令详解 dd笔记 DTrace是什么？ Ceph Cache Tier笔记 Linux下理解filesystem/device/mount等概念 Base64编码详解与应用 URLEncoder学习笔记 Ceph论文阅读笔记 使用Python inotify监控文件变化 Git命令Snippets 使用Nginx做LB MathQuill学习笔记 Docker化Laravel开发环境 Ceph Pool PG配置说明 Ceph 笔记 Ceph源码分析 Latex数学符号 为Ceph OSS服务搭建LB Ceph RGW S3接口测试：诡异的403 AccessDenied问题 访问Ceph RGW失败 403 Forbidden问题 解决历程 Ceph RADOS论文研读笔记 Ceph源码分析：从一个REST请求，到OSD存储。 各种开源代码协议简述 OpenStack Projects简述 OpenStack Ceilometer 笔记 RabbitMQ 和 oslo.messaging Ceph Rest API 身份验证方式(S3) tcpdump笔记 Ceph集群部署笔记 Python PEP8规范笔记 Python Decorator(装饰器)模式 笔记 libvirt笔记 OpenStack oslo 概览 OpenStack KeyStone API http://localhost:5000/ 源码追踪 Python pdb笔记 zero length variety in a struct Jenkins' Hash Functions NTP部署笔记 Linux iptables笔记 Python Paste笔记 Python PasteDeploy笔记 Python eventlet笔记 使用curl测试RESTful接口 ubuntu14.04下安装devstack devstack 安装指南【最简单】 Docker操作记录 git merge 详解 Python 包管理详解 阿里云服务器设置swapfile的方法 shell脚本编写向导 搭建Laravel全栈开发环境 2017 February 10 Protocol buffers 代码入门 Protocol buffers are a language-neutral, platform-neutral extensible mechanism for serializing structured data. Protocol buffers 是一种语言和平台不相关的交换格式，由Google发布，应用非常广泛。博主要深入研究Mesos的源码，Protocol buffers就成为了一道坎，因为Mesos源码中大量、重度使用了Protocol buffers, 很多源码里出现了Protocol buffers相关的东西。所以本篇旨在带领大家和我自己，探索Protocol buffers的使用，期望能够对Protocol buffers有个全局的认知，特别是Protocol buffers的接口。 Protocol buffers版本是多少？ !ls -l ./3rdparty total 38116 -rwxrwxr-x 1 demo demo 17419 Jan 23 14:20 CMakeLists.txt -rw-rw-r-- 1 demo demo 10967 Jan 23 14:20 Makefile.am -rw-rw-r-- 1 demo demo 47637 Jan 23 14:20 Makefile.in -rw-rw-r-- 1 demo demo 1083820 Jan 23 14:07 boost-1.53.0.tar.gz drwxrwxr-x 2 demo demo 4096 Jan 23 14:07 cmake -rw-rw-r-- 1 demo demo 2621150 Jan 23 14:07 elfio-3.2.tar.gz -rw-rw-r-- 1 demo demo 6535 Jan 23 14:07 glog-0.3.3.patch -rw-rw-r-- 1 demo demo 509676 Jan 23 14:07 glog-0.3.3.tar.gz -rw-rw-r-- 1 demo demo 1907242 Jan 23 14:07 gmock-1.7.0.tar.gz -rw-rw-r-- 1 demo demo 730 Jan 23 14:07 gmock_sources.cc.in -rw-rw-r-- 1 demo demo 5216569 Jan 23 14:07 gperftools-2.5.tar.gz drwxrwxr-x 2 demo demo 4096 Jan 23 14:07 http-parser -rw-rw-r-- 1 demo demo 391 Jan 23 14:07 http-parser-2.6.2.patch -rw-rw-r-- 1 demo demo 48292 Jan 23 14:07 http-parser-2.6.2.tar.gz -rw-rw-r-- 1 demo demo 1679 Jan 23 14:07 leveldb-1.4.patch -rw-rw-r-- 1 demo demo 198113 Jan 23 14:07 leveldb-1.4.tar.gz -rw-rw-r-- 1 demo demo 263 Jan 23 14:07 libev-4.22.patch -rw-rw-r-- 1 demo demo 531533 Jan 23 14:07 libev-4.22.tar.gz drwxrwxr-x 8 demo demo 4096 Jan 23 14:20 libprocess -rw-rw-r-- 1 demo demo 33466 Jan 23 14:07 nvml-352.79.tar.gz -rw-rw-r-- 1 demo demo 475 Jan 23 14:07 patch.exe.manifest -rw-rw-r-- 1 demo demo 14695 Jan 23 14:07 picojson-1.3.0.tar.gz -rw-rw-r-- 1 demo demo 1049170 Jan 23 14:07 pip-7.1.2.tar.gz -rw-rw-r-- 1 demo demo 900 Jan 23 14:07 protobuf-2.6.1.patch -rw-rw-r-- 1 demo demo 2641426 Jan 23 14:07 protobuf-2.6.1.tar.gz -rw-rw-r-- 1 demo demo 686397 Jan 23 14:07 setuptools-20.9.0.tar.gz drwxrwxr-x 7 demo demo 4096 Jan 23 14:20 stout -rw-rw-r-- 1 demo demo 1402 Jan 23 14:07 versions.am -rw-rw-r-- 1 demo demo 50597 Jan 23 14:07 wheel-0.24.0.tar.gz -rw-rw-r-- 1 demo demo 9262 Jan 23 14:07 zookeeper-06d3f3f.patch -rw-rw-r-- 1 demo demo 576 Jan 23 14:07 zookeeper-3.4.8.patch -rw-rw-r-- 1 demo demo 22261552 Jan 23 14:07 zookeeper-3.4.8.tar.gz 安装Protocol buffers wget https://github.com/google/protobuf/releases/download/v2.6.1/protobuf-2.6.1.tar.gz tar -xzf protobuf-2.6.1.tar.gz cd protobuf-2.6.1 ./configure --prefix=/usr/local/bin make 到这里，protoc已经编译好了，具体位置在： !ls ./protobuf-2.6.1/src/ Makefile google libprotoc.la unittest_proto_middleman Makefile.am libprotobuf-lite.la protoc Makefile.in libprotobuf.la solaris 将protoc拷贝到/usr/local/bin 下即可。 当然，用apt-get安装更方便： sudo apt-get install libprotobuf-dev protobuf-compiler 样例程序 下面，我们用C++写一个样例程序，用于验证Protobuf的接口。 一个程序写Protobuf, 将数据持久化到磁盘；另一个程序，使用Protobuf读取持久化数据。 定义proto: !cat ../protobuf_test/Foo.proto message Student { required string name = 1; optional int32 age = 2; enum Gender { MALE = 0; FEMALE = 1; } optional Gender gender = 3 [default = MALE]; repeated int32 scores = 4; } 如上，定义了消息交换的格式，下面使用protoc，把proto文件编译成C++源码。 demo@ru:~/protobuf_test$ sudo protoc --cpp_out=./ ./Foo.proto demo@ru:~/protobuf_test$ ll total 40 drwxrwxr-x 2 demo demo 4096 Feb 10 14:36 ./ drwxr-xr-x 22 demo demo 4096 Feb 10 14:21 ../ -rw-r--r-- 1 root root 15852 Feb 10 14:36 Foo.pb.cc -rw-r--r-- 1 root root 12048 Feb 10 14:36 Foo.pb.h -rw-rw-r-- 1 demo demo 223 Feb 10 14:36 Foo.proto 编写代码： !cat ../protobuf_test/writer.cpp #include <iostream> #include <fstream> #include "Foo.pb.h" using namespace std; int main() { Student lily; lily.set_name("XiaoMing"); // pinpoint a fstream for writing. fstream output("./db", ios::out | ios::trunc | ios::binary); lily.SerializeToOstream(&output); return 0; } !cat ../protobuf_test/reader.cpp #include <iostream> #include <fstream> #include "Foo.pb.h" using namespace std; int main() { Student lily; fstream input("./db", ios::in | ios::binary); lily.ParseFromIstream(&input); cout<< lily.name() << endl; return 0; } %%bash cd ../protobuf_test/ g++ reader.cpp Foo.pb.cc -lprotobuf -o read g++ writer.cpp Foo.pb.cc -lprotobuf -o write !../protobuf_test/write !../protobuf_test/read XiaoMing 上面的测试过程：写一个writer，定义了一个Student实例，name为XiaoMing, 写入本地文件./db; 写了一个reader，从文件中读取Student, 并把name打印到标准输出。其实就是个序列化、反序列化得过程。 下面简单介绍一下，Protobuf的几种核心API： SerializeToOstream: 序列化到ofstream ParseFromIstream: 从ofstream里解析，和上面一个接口互逆 CopyFrom: 当前Message替换成(拷贝成)参数Message MergeFrom: 把参数Message的字段Merge到当前Message中 总结 掌握Protobuf主要包括两方面：一个是proto语言的学习，也就是掌握如何去定义消息格式；另一个是Protobuf的API，这个是语言相关的， 也就是在使用Protobuf时会用到。 参考 C++ Generated Code message.h Google Protocol Buffer 的使用和原理 Please enable JavaScript to view the comments powered by Disqus. All content is licensed under CC BY-NC-SA Buit with Jekyll and 3-Jekyll theme • Hosted on Github Table of Contents