1997 deepin 发起创立了 WHLUG（武汉 Linux 用户组）

2004 Hiweed Linux 发布

• 0.1 版叫 Hiwix，基于 Morphix，桌面环境采用 IceWM 窗口管理器。
• 从 0.2 版更名为 Hiweed Linux。
• 自 0.3 版基于 Debian，桌面采用 Xfce。
• 从 1.0 版基于 Ubuntu。

2008 deepin 收购 Hiweed Linux 团队和品牌，建设 deepin 社区

2009 更名为 Linux Deepin，发布 9.12 版本

• 桌面先后采用 GNOME 2 和 GNOME 3。
• 自 12.12 版开发自有桌面环境 DDE 1.0，主要由于 GNOME 桌面环境逐渐限制自定义功能，使用 HTML5 等编写。

2011 deepin 开发团队成立武汉深之度科技有限公司

2014 名称最终改为 deepin

2015 deepin v15 发布

• 重又基于 Debian，因 DDE 性能不佳，使用 Qt 重写，后端使用 Go。

2020 deepin v20 发布

工作方法

将各种来源的想法、内容写在卡片上，放进盒子里，彼此建立连接。

1. 写临时性的笔记：来自脑中闪过、或书中看到的内容，用完即弃。
2. 写资料性的笔记：将临时性的笔记转译成自己的文字，尽量精简，只保留最重要的东西。
3. 写永久性的笔记：该法最核心部分，让知识能长久保存。从整理前两种笔记开始，思考这些笔记跟你当前的写作、研究、兴趣或想法是否有关联之处。完成后将永久性笔记放入主要的盒子，资料性笔记放入资料来源的盒子，并把临时性笔记丢掉。

思维原则

• 笔记是为了扩张人脑的极限，故需要一个外部的思考系统，构建第二大脑。
• 笔记有价值的地方只在于它的语境或脉络，即笔记与笔记之间应建议连接，从而形成网络。
• 应把写作当作记笔记的最终目的。
• 工作流程越简单越好，不然难以持续。

链接

• 专门推广该方法的网站55 https://zettelkasten.de
• 在线工具66 https://roamresearch.com
• 离线工具77 https://obsidian.md
• 我的工具88 Emacs + org mode + org-roam + deft
• 如何记笔记99 https://fortelabs.co/blog/how-to-take-smart-notes/
• Luhmann 采访片段1010 https://www.youtube.com/watch?v=mCFP5i_0ibE

分层架构

事件驱动架构

微内核架构

微服务架构

云架构

关键概念

两个主要模块：处理单元和虚拟化中间件。

1. 处理单元包含应用模块，即 Web 组件及后台业务逻辑，还包括复制引擎。
2. 虚拟化中间件负责保护自身以及通信。

5 种软件架构模式比较

亲密性（Proximity）

相近的元素以视觉单元的形式出现。

• 将相关的项组织在一起，移动这些项，使它们的物理位置相互靠近，这样一来，相关的项将被看作凝聚为一体的一个组，而不再是一堆彼此无关的片段。
• 亲密性还可以体现信息的重要性，将相关的且重要的信息组织在一起，使得用户在进来之后能够马上发现重要的信息在哪。
• 小技巧：微微眯起眼睛，统计你的眼睛停顿的次数来数一数页面上有多少个元素。如果页面上的项超过 3～5 个，就要看看哪些孤立的元素可以归在一组建立更近的亲密性，使之成为一个视觉单元。

对齐（Alignment）

每种要有视觉上的联系。

• 任何元素都不能在页面上随意安放。每一项都应当与页面上的某个内容存在某种视觉联系。对齐原则要求特别小心，再不能像从前那样，只要页面上刚好有空间就把元素随意“扔”到那里。
• 对齐的关键是找到那条显示或者隐式的对齐线。
• 对齐的一条原则是，能不用居中对齐就不用居中对齐，居中对齐会让整个设计显得很平淡和呆板。
• 对齐的关键在于找到一条对齐线，用它来对齐，在含有图片的文本中尤其如此，选择合理的对齐线会使得页面更加的美观。
• 小技巧：要特别注意元素放在哪里。应当总能在页面上找出与之对齐的元素，尽管这两个对象的物理位置可能相距很远。

重复（Repetition）

视觉元素要重复出现。

• “设计的某些方面需要在整个作品中重复”。重复元素可能是一种粗字体、一条粗线，某个项目符号、颜色、设计要素，某种格式、空间关系等。读者能看到的任何方面都可以作为重复元素。重复的目的就是统一，并增强视觉效果。
• 重复最大的好处是使各项看起来同属一组，虽然元素看起来都不完全相同。

对比（Contrast）

即要避免页面上的元素太过相似。

• Robin 对比原则指出：“如果两个项不完全相同，就应当使之不同，而且应当是截然不同。”
• 对比对于信息的组织也非常的重要，通过对比可以让人可以更好地理解信息，用了对比，不仅页面更吸引人，文档的目的和组织也会更一目了然。
• 小技巧：可以通过字体选择、线宽、颜色、形状、大小、空间等等来增加对比。增加对比很容易，途径有很多，这可能是增加视觉效果最有意思也最让人满意的方法了。重要的是：对比一定要强烈。

应用设计原则前

应用设计原则后

赫尔曼·艾宾浩斯遗忘曲线

遗忘曲线

• 揭示了遗忘规律1212 https://en.wikipedia.org/wiki/Forgetting_curve。
• 人的记忆分为短期记忆和长期记忆。
• 长期记忆的保持时间有长有短。

间隔重复法

• 间隔重复（Spaced repetition）1313 https://en.wikipedia.org/wiki/Spaced_repetition是一种利用心理学间隔效应，通过不断复习所学内容并逐步增加两次复习间的时间间隔来提升效率的学习技巧。
• 记忆研究表明，记忆一件新事物的最有效时间是你即将忘记它的时候。
• 间隔重复软件可以帮你做到这一点，所以你可以给它一堆你想记住的事实，然后让它每天测试你一次，它会根据你的反馈来管理间歇时间。

间隔重复软件

• Anki1414 https://apps.ankiweb.net 暗记，跨平台，支持 Linux、macOS、Windows（推荐）
• AnkiDroid1515 https://play.google.com/store/apps/details?id=com.ichi2.anki 暗记 Android 版本
• AnkiMobile1616 https://itunes.apple.com/us/app/ankimobile-flashcards/id373493387 暗记 iOS 版本
• Mnemosyne1717 https://mnemosyne-proj.org 移动端功能较弱
• SuperMemo1818 https://www.supermemo.com/en/apps 间隔重复软件鼻祖

参考

• Spaced Repetition for Efficient Learning1919 https://www.gwern.net/Spaced-repetition

Markdown

一种轻量级标记语言，由约翰·格鲁伯创建。2020 https://en.wikipedia.org/wiki/Markdown允许人们使用易读易写的纯文本格式编写文档，然后转换成 HTML。

R

主要用于统计分析、绘图以及数据挖掘的编程语言。2121 https://en.wikipedia.org/wiki/R_(programming_language)

R Markdown

两大特点：

1. 能直接嵌入代码，并予以执行，如：R、Python、Shell、C、Go、SQL 等等，可实现计算机大师高德纳所提出的文学式编程（literate programming）。
2. 支持输出许多文档格式，包括：HTML、PDF、Word、ePub、简历、网站、幻灯片、电子答卷、书籍等等。

安装

方法一：

1. 安装 R：$ sudo apt install r-base
2. 启动 R：$ R
3. 安装 rmarkdown：install.packages("rmarkdown")

方法二：

1. 拉取镜像：$ docker pull toyland/bookdown
2. 运行容器：$ docker run --rm -v $PWD:/work toyland/bookdown

样例：制作幻灯片

---
title: "R Markdown：动态生成文档利器"
author: "徐小东"
date: "2022-12-05"
header-includes:
  - \usepackage{ctex}
output:
  beamer_presentation:
    theme: default
    latex_engine: xelatex
---

## Markdown

一种轻量级标记语言，由约翰·格鲁伯创建。

---(snip)---

样例：剖析

• YAML 头部
• 正文

渲染文档

$ Rscript -e 'rmarkdown::render("rmd.Rmd", "all")'

输出为 rmd.pdf。

代码块

```{bash}
ls *.Rmd
```

ls *.Rmd

## arch-share.Rmd
## book-guide.Rmd
## encrypted-squashfs.Rmd
## fapolicyd.Rmd
## font-render.Rmd
## ide-solution.Rmd
## ide-tech.Rmd
## ide.Rmd
## initrd.Rmd
## linux-dm.Rmd
## oemid.Rmd
## oemid_old.Rmd
## oemscan.Rmd
## pipewire.Rmd
## rmd.Rmd
## time-man.Rmd
## wm.Rmd

表格

knitr::kable(iris[1:5, ], caption = 'A caption')

A caption

图形

#plot(cars, pch = 18)

参考

• R Markdown 入门2222 https://rmarkdown.rstudio.com/lesson-1.html
• R Markdown 示例2323 https://rmarkdown.rstudio.com/gallery.html
• R Markdown 支持的输出格式2424 https://rmarkdown.rstudio.com/formats.html

何为 WM

WM 即 window manager，亦即窗口管理器，它主要用于控制窗口的布局和外观。一般来说，WM 是桌面环境的一部分，但它也可以独立使用。

两种管理方法

1. Stacking（堆叠式），也叫 floating（浮动式），顾名思义，不同窗口可以相互重叠，就像桌子上随意摆放的白纸一样。比如，Windows 和 macOS 皆属此法。

堆叠式

2. Tiling（平铺式），即窗口不能够重叠，而是像瓦片一样挨个摆放。

平铺式

主要的区别

二者的主要区别如下：

平铺式相比堆叠式的窗口管理方法具有下列优点：

• 各个窗口的内容不会被遮挡，看起来一目了然。
• 充分利用屏幕空间，绝不浪费。
• 布局完全自动化，几乎不需要重新调整窗口的位置和大小，用起来省心省力。
• 完全通过按键对窗口进行操控，如切换窗口、全屏化、关闭等，比起使用鼠标的效率更高。
• 加分项：通常可按 vi 的方式控制窗口。
• 加分项：对多显示器支持友好，如两台以上的显示器。

使用多显示器

平铺式窗口管理器的代表

• i32525 https://i3wm.org/
• Sway2626 https://swaywm.org/
• bspwm2727 https://github.com/baskerville/bspwm

ALSA

ALSA2828 https://alsa-project.org/ 是 Advanced Linux Sound Architecture 的简称，它主要包含两部分：

1. 在内核态，作为内核的音频子系统，提供声卡驱动
2. 在用户态，提供库（libasound，API）和命令行工具（alsamixer、aplay、arecord 等）

PulseAudio

PulseAudio2929 https://www.freedesktop.org/wiki/Software/PulseAudio/ 是一个具备网络能力的声音服务器，它作为接口引擎介于应用程序和 ALSA 之间。

Linux API

PulseAudio 的后台 daemon 从一个或多个源（进程、捕捉设备等）接收声音输入，然后将这些声音源重定向到 sinks（声卡、远端 PulseAudio 服务器、其它进程）。

PulseAudio 主要包括以下部分：

• PulseAudio daemon
• libpulsecore、libpulsecommon、libpulse、libpulse-simple：客户端及服务端库
• modules：服务端扩展
• 工具：音量控制

JACK

JACK3030 https://jackaudio.org/ 是 JACK Audio Connection Kit 的简称，它是一个专业级的声音服务器，在音频和 MIDI 数据间提供实时、低延迟的连接。从 2002 年起，JACK 是 Linux 上专业音频软件的关键基础架构和默认标准。

JACK 包括：

• 后台 daemon
• API：构建信号处理及音乐制作应用

PipeWire

简介

PipeWire3131 https://pipewire.org 由 Wim Taymans（Red Hat 工程师，同时也是 GStreamer 的创建者）所开发，它是 Linux 上用于处理音频及视频流的服务器。PipeWire 提供统一的框架访问多媒体设备，而上层应用则通过 PipeWire 的 API 来使用硬件，其主要特点包括：

• 用最低延迟捕获及播放音频和视频
• 针对音频和视频的实时多媒体处理
• 多进程架构允许应用程序共享多媒体内容
• 无缝支持 PulseAudio、JACK、ALSA 及 GStreamer 应用程序
• 对沙盒应用（如 Flatpak）提供支持

The multimedia stack

PipeWire

PipeWire 主要包括：

• PipeWire 后台 deamon
• Session Manager：会话管理器，管理 PipeWire deamon 中的对象
• PipeWire 工具：跟 daemon 交互
• libpipewire 库：开发应用及插件
• pipewire-pulse：兼容 PulseAudio
• libjack：兼容 JACK
• gstreamer-pipewire：兼容 GStreamer
• 插件：alsa、ffmpeg、v4l2、bluez5 等

职责

• 启动并管理 X server 的本地实例。
• 验证用户。
• 启动及管理用户会话。

文本模式登录

1. 启动 login 程序
2. 获取帐号及密码
3. 检查 /etc/passwd 看帐号是否存在
4. 检查 /etc/shadow 看密码是否匹配
5. login 程序 fork 子进程创建登录 shell

文本模式登录过程

实现

• XDM（X Display Manager）：X11 的默认显示管理器，但功能极少。

• GDM3333 https://wiki.gnome.org/Projects/GDM（GNOME Display Manager）：用于 GNOME 桌面环境，支持 X11 和 Wayland，用户能选择会话类型，使用定制主题。

• SDDM3434 https://github.com/sddm/sddm（Simple Desktop Display Manager）：用于 KDE Plasma 桌面环境，功能上跟 GDM 类似。

• LightDM3535 https://github.com/canonical/lightdm：由 Ubuntu 背后的公司所开发，是一个跨桌面的显示管理器，支持不同的显示技术（X11、Wayland），兼容标准（PAM、logind），能使用各种前端来绘制用户界面（Greeters）：

  Greeter	OS
  GTK	Xubuntu
  Unity	Ubuntu
  Deepin	Deepin
  Pantheon	elementary OS
  Slick	Linux Mint

图形模式登录

1. 启动显示服务器（如 X11）并运行 Greeter
2. 传递帐号及密码给 PAM（pluggable authentication module）进行认证
3. Greeter 启动会话

计算机字体

是包含有一套字形与字符的电子数据文件，常分为：

• Bitmap Font（点阵字体）：通过点阵表现字形，其本质上只是一组图片。
• Outline Font（轮廓字体）：也叫矢量字体，使用贝塞尔曲线描述轮廓，可以通过简单的数学变形放大或缩小，如：TrueType 字体、OpenType 字体。

TTY 中的字体

• 默认情况下，使用 Kernel 的内置字体3636 https://github.com/torvalds/linux/tree/master/lib/fonts
• Linux 控制台支持 PSF (PC Screen Fonts) 和 PSFU (Unicode) 字体
• 临时设置字体：setfont
• 永久设置字体：FONT (/etc/default/console-setup)

图形化系统中的字体

概览

用户空间

• libdrm
• Mesa
• 显示服务器驱动（X11）

Linux 图形栈

DRI 与 DRM

DRI4040 https://dri.freedesktop.org/ 即 Direct Rendering Infrastructure，在 X11 下以安全、高效的方式直接访问图形硬件的框架。DRI 实现分散在 X 服务器及其相关的客户端库、Mesa 和 DRM 内核子系统中。

DRM4141 https://dri.freedesktop.org/wiki/DRM/ 即 Direct Rendering Manager，Linux 内核中负责显卡 GPU 的接口子系统。DRM 暴露 API，用户空间程序可以使用它向 GPU 发送命令和数据，并执行一些操作，比如配置显示器的模式设置。用户空间程序可以使用 DRM API 命令 GPU 进行 3D 硬件加速渲染和视频解码，以及 GPGPU 计算。

• 设备文件：/dev/dri/card0
• DRM core：为不同的 DRM 驱动提供基本的框架
• DRM driver：硬件相关的驱动

KMS

KMS 即 kernel mode-setting，激活计算机显示控制器的显示模式（屏幕分辨率、颜色深度和刷新率）。

libdrm

DRM 的用户空间库，便于用户空间程序与 DRM 子系统交互。

• 每个 DRM API 的 ioctl 函数封装
• 避免直接暴露内核接口给应用程序
• 重用及共享程序间的代码

Mesa

也叫 Mesa3D4242 https://mesa3d.org/，OpenGL、Vulkan 和其他图形 API 规范的开源软件实现。Mesa 将这些规范转换为特定于供应商的图形硬件驱动程序。除了游戏等 3D 应用程序，现代化显示服务器使用 OpenGL/EGL。因此，所有图形通常都经过 Mesa。

• 渲染 API
• 视频加速 API
• 设备驱动
• DRI 支持
• 软件渲染器（swrast）
• Mega 驱动
• shader-db

显示服务器驱动（X11）

主要分为两部分：

• Device Independent X (DIX)：设备无关驱动，与客户端交互实现软件渲染。
• Device Dependent X (DDX)：设备相关驱动，与硬件交互。2D 图形驱动，如：xserver-xorg-video-*。

Org-mode 与 GNU Emacs

GNU Emacs4343 https://www.gnu.org/software/emacs/：可扩展、可定制、完全自由的文本编辑器。

Org-mode4444 https://orgmode.org/：适用于 GNU Emacs 的文本编辑模式，由 Carsten Dominik 在 2003 年开发，常用于：

• 做笔记
• 文档创作（论文、Blog）
• 可计算笔记薄
• 项目计划
• 任务管理（To-do lists）
• 时间管理

很多人用它管理自己的整个数字生活。

Org-mode 的移植

随着 Org-mode 的成功及流行，它已被移植到其他编辑器，如：

• Vim：orgmode.nvim、vim-orgmode
• VS Code：vscode-org-mode
• Atom：org-mode
• Sublime：OrgExtended

Org-mode for 移动设备

• Orgzly：Android
• BeOrg：iOS
• Orgro：Android/iOS，只能查看

Org-mode 的特点

• 结构化的纯文本格式，扩展名为 .org
• 其核心是 outliner（大纲编辑）
• 轻量级标记语言（有些功能像 Markdown）
  • 项目列表（支持 checkbox）
  • 超链接（可点击）
  • 表格（可计算）
  • 标签（如：:work:）
  • To-do lists
  • 优先级（ABC）
  • 时间戳（可跟踪消耗时间）
  • 议程（agenda 视图）

Org-mode 示例

Org mode 示例

Org mode 表格

Org mode 计划

Kernel 的任务

内核是硬件与软件之间的一个中间层。作用是将应用程序的请求传递给硬件，并充当底层驱动程序，对系统中的各种设备和组件进行寻址。

• 从应用程序的视角，内核被认为是一台增强的计算机，将其抽象到一个高层次上。
• 当若干程序并发运行时，可将内核视为资源管理程序。
• 另一种视角是将内核视为库，提供了一组面向系统的命令。系统调用用于向计算机发送请求。

Kernel 架构类型

• monolithic kernel：单体内核，整个系统在内核空间工作。例子：Linux
• microkernel：微内核，在内核空间尽可能实现系统的最少功能，如：低级地址空间管理、线程管理、进程间通信等，其余功能则在用户空间实现。例子：Minix
• hybrid kernel：混合型内核，将微内核和单体内核的优势组合在一起。例子：Windows NT

Kernel 架构类型

Linux kernel 简介

Linux kernel 是自由开源、单体、模块化、多任务、类 Unix 的操作系统内核。

• Linus Torvalds 于 1991 年为 i386 PC 开发
• 目前应用非常广泛，包括嵌入设备、移动设备、个人微机、服务器、大型机、超级电脑等
• 许可：GPL-2.0-only
• 社区开发者大约 5000-6000 人
• 最新稳定版本 5.15.134545 https://www.kernel.org
• 最新开发版本 5.16-rc8

Linux kernel 代码行数

Linux Kernel 的组成部分

Kernel 的组成部分

进程管理和调度

问题：

1. 如何共享 CPU 时间：内核必须决定为各个进程分配多长时间
2. 如何在进程之间切换：何时切换到下一个进程，哪个进程是下一个

这两个任务是称之为调度器的内核子系统的职责。

解决方案：

抢占式多任务处理（preemptive multitasking），各个进程都分配到一定的时间段执行，但重要的进程会比次要的得到更多的 CPU 时间。

进程调度器

• O(1) 调度器：在 Linux 2.6 引入，根据经典的时间片分配的思路来进行整体设计，它可以在常数时间内完成其工作，不依赖于系统上运行的进程数目。时间片的思路就是将 CPU 的执行时间分成一小段一小段的，假如是 5ms 一段。于是多个进程如果要“同时”执行，实际上就是每个进程轮流占用 5ms 的 CPU 时间，而从 1s 的时间尺度上看，这些进程就是在“同时”执行。当然，对于多核系统来说，就是把每个核心都这样做就行了。
• 完全公平调度器（completely fair scheduler），在内核版本 2.6.23 开发期间合并进来，它试图尽可能地模仿理想情况下的公平调度。如果当前有 n 个进程需要调度执行，那么调度器应该在一个比较小的时间范围内，把这 n 个进程全都调度执行一遍，并且它们平分 CPU 时间，这样就可以做到所有进程的公平调度。

CFS 调度器

所有的可运行进程都按时间在一个红黑树中排序，所谓时间即其等待时间。等待 CPU 时间最长的进程是最左侧的项，调度器下一次会考虑该进程。等待时间稍短的进程在该树上从左至右排序。

内存管理

从进程的角度来看，Linux 将虚拟地址空间划分为两个部分，分别称为内核空间和用户空间。

虚拟地址空间

大多数情况下，单个虚拟地址空间就比系统中可用的物理内存要大。内核和 CPU 必须考虑如何将实际可用的物理内存映射到虚拟地址空间的区域。

虚拟和物理地址

可取的方法是用页表来为物理地址分配虚拟地址。虚拟地址关系到进程的用户空间和内核空间，而物理地址则用来寻址实际可用的内存。

分配虚拟地址

多级分页：为减少页表的大小并容许忽略不需要的区域，计算机体系结构的设计会将虚拟地址划分为多个部分。

伙伴系统

伙伴系统：快速检测内存中的连续区域，供内核分配连续页。

slab 分配器

slab 缓存：分配比页帧小的内存块，并缓存频繁使用的小对象。

I/O

内核必须处理 3 方面的问题：

1. 必须根据具体的设备类型和模型，使用各种方法对硬件寻址。
2. 内核必须向用户应用程序和系统工具提供访问各种设备的方法。
3. 用户空间需要知道内核中有哪些设备可用。

外设寻址的分层模型

内核与外设通信的方法：

• I/O 端口：内核发送数据给 I/O 控制器。
• I/O 内存映射：将特定外设的端口地址映射到普通内存中，可以像处理普通内存那样操作外设。
• 轮询和中断：通过这两种方法系统可以知道某个设备的数据已经就绪、可以读取。

设备文件：用于访问扩展设备，这些文件建立了与某个设备驱动程序的连接，以支持与扩展设备的通信。

I/O 调度：内核采用的各种用于调度和重排 I/O 操作的算法，称之为 I/O 调度器。

• noop：一个非常简单的 I/O 调度器，将新来的请求按“先来先服务”的原则依次添加到队列，以便进行处理。请求会进行合并但无法重排。
• deadline：它试图最小化磁盘寻道的次数，并尽可能确保请求在一定时间内处理完成。
• cfq：提供了完全公平排队（complete fairness queuing）的特性。它围绕几个队列展开，所有的请求都在这些队列中排序。同一给定进程的请求，总是在同一队列中处理。
• blkmq：多队列块 I/O 排队机制，在 Linux 3.13 引入。

虚拟文件系统：为支持各种本机文件系统，且同时允许访问其他操作系统的文件，Linux 内核在用户进程（或 C 标准库）和文件系统实现之间引入了一个抽象层。该抽象层称之为虚拟文件系统（Virtual File System），简称 VFS。

• inode：每个文件（和目录）都有且只有一个对应的 indoe，其中包含元数据（如访问权限、上次修改的日期，等等）和指向文件数据的指针。
• 链接（link）：用于建立文件系统对象之间的联系。有两种类型的链接，符号链接与硬链接。
• 编程接口：用户进程和内核的VFS实现之间的接口照例由系统调用组成，其中大多数涉及对文件、目录和一般意义上的文件系统的操作。

Ext 文件系统族：Ext2/3/4

• 碎片：由于这对访问速度有负面影响，文件系统必须尽可能减少碎片产生。
• 有效利用存储空间。
• 维护文件内容的一致性。
• 在评价文件系统的质量时，速度也是一个重要的因素。

硬盘上的启动扇区和块组

每个文件系统都由大量块组组成，在硬盘上相继排布。

Ext2 文件系统的块组

块组是 Ext2 文件系统的核心要素。

Ext3：提供了一种日志（journal）特性，记录了对文件系统数据所进行的操作。在发生系统崩溃之后，该机制有助于缩短 fsck 的运行时间。

Ext4：大型文件系统（单文件最大支持 16 TiB，卷最大支持 1 EiB）、持久预分配、日志校验和、透明加密等。

网络

问题：

从程序员的视角来看，程序如何访问网络功能？

解决方案：

网卡的运作方式与普通的块设备和字符设备完全不同，使得经典的 UNIX 箴言“万物皆文件”不再完全适用。

将一种称为套接字的特殊结构用作到网络实现的接口，这种方案现在已经成为工业标准。

内核中分层模型的实现

内核网络子系统的实现与 TCP/IP 参考模型非常相似。

• 网络访问层：该层主要负责在计算机之间传输信息，与网卡的设备驱动程序直接协作。(/sys/class/net)
• 网络层：该层不仅负责发送和接收数据，还负责在彼此不直接连接的系统之间转发和路由分组。(IPv4/IPv6)
• 传输层：两个基于 IP 的主要传输协议分别是 UDP 和 TCP，前者用于发送数据报，后者可建立安全的、面向连接的服务。
• 内核应用层：Linux 采用了内核套接字的概念，使得与用户空间中的套接字的通信尽可能简单。

系统调用

系统调用用于从用户应用程序调用内核例程，以利用内核的一些专门的功能。

• 标准库：不仅是实现内核系统调用的接口集合，其中也提供了许多其他完全在用户空间实现的函数。
• 分类：每个系统调用都通过一个符号常数标识，包括进程管理、时间操作、信号处理、文件系统、内存管理、进程间通信、网络等。
• 追踪系统调用：strace。

GTK

用来创建 GUI 的跨平台 widget 工具包。其架构如图所示：

GTK 架构

• GLib: 低级系统库
• GDK: GdkPixbuf，载入图形资源的库
• GSK: GTK Scene Graph Kit，渲染及场景图 API
• Pango: 文本布局引擎，与 HarfBuzz 协同工作
• Cairo: 图形库，提供基于矢量图、设备无关的 API
• OpenGL: 用于渲染 2D 及 3D 图形的 API
• Wayland: 显示服务器协议

GLib

由 GNOME 维护，用 C 编写的低级系统库。开始为 GTK 的一部分，后从非 GUI 部分剥离而成。它包含下列组件：

• GObject: 对象系统
• GLib: 工具库，提供数据类型、宏、类型转换、字符串工具、文件工具、主循环抽象等
• GModule: 动态载入模块 API
• GThread: 多线程 API
• GIO: 提供 I/O、网络、IPC 等类

GIO

GVfs

GIO 与 GVfs

• GVfs 即 GNOME Virtual file system，针对 GIO 设计的 GNOME 用户态虚拟文件系统，作为 GIO 的可载入模块，扩展 GIO。
• 也有 FUSE 支持，用于不用 GIO 的应用程序，但功能有限。
• 挂载后端
  • FTP/SFTP
  • SMB
  • WebDAV
  • MTP
  • 本地数据 (通过 Udev)
• 卷监视器及持久元数据存储
• 组件
  • gvfsd: 后台 daemon，管理器及消息路由，由 GIO 客户端启动
  • gvfsd-fuse: FUSE daemon，由 gvfsd 启动
  • gvfsd-metadata: 元数据存储，由 GIO 客户端启动
  • gvfs-*-volume-monitor: 卷监视器
  • gvfsd-{sftp,smb,http}: mount 后端
  • gio: GIO 命令行工具

参考

• https://gtk.org/
• https://docs.gtk.org/glib/
• https://docs.gtk.org/gio/
• https://wiki.gnome.org/Projects/gvfs

是什么

initial ramdisk，它是一种将临时的根文件系统载入内存的方案，主要用于 Linux 的启动过程。也叫 early user space (早期用户空间)，在 Linux kernel 2.5.46 引入。从出现至今存在以下两种方案：

• initrd：早期使用，现已废弃。方式：ramdisk，一种内存中的磁盘结构。
• initramfs：initial ram file system，目前的主流。方式：ramfs，基于 tmpfs 的内存文件系统。

initrd 在 Linux 引导过程中的作用

存在原因

从根本上说：

• 内核模块化：通用内核镜像的设备驱动以可载入的内核模块包含其中。若是将许多驱动静态编译到一个内核，导致内核镜像过大超出内存的限制，会产生引导时崩溃或其他问题。静态编译的内核也让即便不再使用的模块留在内存中，导致浪费资源。
• 特殊分区：根文件系统在软 RAID 卷、LVM、NFS 或加密分区上，这需要特殊的准备才能挂载。
• 系统休眠：内核支持休眠，将整个内存的内容转存成镜像，下次引导时该镜像需要在载入到内存前可访问。

其他次要的因素：

• 提供急救 shell，修复系统故障。
• 定制系统引导过程，如：打印欢迎消息、开机动画等。

具体实现

• 存储：initrd 镜像必须存储在 Linux bootloader 或引导固件可访问的位置，包括根文件系统本身、光盘上的引导镜像、本机磁盘上的小分区 (引导分区，一般为 ext2 或 FAT 文件系统) 等。

• 载入：bootloader 将载入内核和 initrd 镜像到内存，然后启动内核，并传递镜像的内存地址，内核检测镜像的格式，要么是 initrd，要么是 initramfs 方案。

  initrd 通过特殊的块设备 (/dev/ram) 进行挂载，有些使用 ext2 文件系统镜像，有些使用 cramfs 镜像 (Debian)。内核执行其中的 /linuxrc 作为第一个进程，退出后执行 /sbin/init 开始正常的引导过程。

  initramfs 镜像是 cpio 存档 (为节省空间可压缩)，该存档由内核解包到特殊的 tmpfs 上。相比 initrd 的优势，不需要将中间文件系统或块驱动编译到内核中。内核执行 /init 作为第一个进程。

• 挂载准备：Debian 生成定制的 initrd 镜像，只包含必要的 ATA、SCSI、文件系统内核模块。Fedora、Ubuntu 生成更通用的 initrd 镜像。

制作工具

• dracut4646 https://github.com/dracutdevs/dracut：通过从安装的系统拷贝工具及文件并与 Dracut 框架组合来生成 initramfs 镜像。支持从 ext2, ext3, ext4, btrfs, ISO_9660, DM RAID, MD RAID, LVM2, device mapper multipath I/O, dm-crypt, cifs, FCoE, iSCSI, NBD, NFS 引导。Fedora、openSUSE、Void Linux、Mageia 等采用。
• initramfs-tools4747 https://salsa.debian.org/kernel-team/initramfs-tools：通用的模块化 initramfs 生成器，支持 ext2/ext3/ext4、LVM、MD、dm-crypt、SCSI、NFS 等，Debian、Ubuntu、UOS 等使用。

手动创建

• 目录结构

mkdir --parents /usr/src/initramfs/{bin,dev,etc,lib,lib64,mnt/root,proc,root,sbin,sys}
cp --archive /dev/{null,console,tty,sda1} /usr/src/initramfs/dev/ # 设备节点

• 应用程序：拷贝想要在引导时执行的二进制程序及库，可用 busybox 替代。

  编写 init 脚本：

#!/bin/busybox sh

# Mount the /proc and /sys filesystems.
mount -t proc none /proc
mount -t sysfs none /sys

# Do your stuff here.
echo "This script just mounts and boots the rootfs, nothing else!"

# Mount the root filesystem.
mount -o ro /dev/sda1 /mnt/root

# Clean up.
umount /proc
umount /sys

# Boot the real thing.
exec switch_root /mnt/root /sbin/init

• 打包

find . -print0 | cpio --null --create --verbose --format=newc | gzip --best > /boot/custom-initramfs.cpio.gz

配置 GRUB：

initrd custom-initramfs.cpio.gz # /boot/grub/grub.cfg

参考

• https://en.wikipedia.org/wiki/Initial_ramdisk
• https://www.kernel.org/doc/Documentation/filesystems/ramfs-rootfs-initramfs.txt
• https://wiki.debian.org/initramfs
• https://wiki.gentoo.org/wiki/Initramfs/Guide
• https://www.linuxfromscratch.org/blfs/view/svn/postlfs/initramfs.html

基础

资源与所有权

资源与所有权

• Users：用户启动进程并拥有文件。
• Files：文件具有所有者，默认为创建该文件的用户，且可供进程使用。
• Processes：进程使用文件进行通信及持久化数据。

用户

本机管理用户

使用简单的基于文件的接口。

• 用户数据库： /etc/passwd

用户数据库

• 组数据库： /etc/group
• 用户密码： /etc/shadow
• 组密码： /etc/gshadow

权限

文件权限

Linux 访问资源的核心概念。

类型或权限范围

• 用户：文件的所有者。
• 组：有一个或多个成员。
• 其他人：别的人落到这个类别。

访问类型

访问类型

• 读取 (r)：对于一般文件，允许用户查看文件的内容；对于目录，允许用户查看目录中的文件名称。
• 写入 (w)：对于一般文件，允许用户修改及删除文件；对于目录，允许用户在目录中创建、重命名、删除文件。
• 执行 (x)：对于一般文件，允许用户执行文件(若用户也有读取权限)；对于目录，允许用户访问目录中的文件信息，转到目录 ( cd ) 或列出内容 ( ls )。

高级权限管理

信息组织系统

它能有效的支持你的当下和未来的工作，告诉你信息都被放在了哪里，以及当你需要的时候就能快速找到，并且不会被工具所束缚。

一般信息组织法的问题

• 分类：若分类太多，容易导致选择困难；若层级太深，则不便于寻找。此外，还存在不好归类的情况。
• 标签（Tag）：容易重复和滥用，所需的努力价值不高；且没有层级的概念，更面向扁平化。
• 文件夹：容易造成凌乱，时常需要整理。但“整理东西”是人们永远不会去做的事情之一。

别让你的信息变成坟场！

何为 PARA

PARA 方法由个人生产力专家 Tiago Forte5151 https://fortelabs.co/about-forte-labs/ 提出，同时他也是《Building a Second Brain》一书的作者。PARA 是以下 4 个单词的首字母缩写：

• Project
• Area
• Resource
• Archive

Archive

存档，上述 3 类之外不活动的内容，也许对未来有用，例如：已完成的项目、不再维护的领域、不再感兴趣的资源。

如上图，领域：Product Development，项目：product X launch，任务：write first draft of blog post。任务与项目相关联。项目总是归属于某个领域。

PARA 的优势

PARA 方法为我们提供了一种组织数字信息的思路，其核心是根据数字信息的可操作性程度，对信息进行聚焦或转移。它不是硬性地把信息锁定在某个类目上，而是按信息的使用程度来显示它们目前的状态。

PARA 里的信息是可以流动的：

• 收集来的资料，还没有任何具体行动的，可以先放在资源里。
• 对某类资料产生兴趣，打算长时间投注精力时，可以把它们放在领域里。
• 对此兴趣有了明确的目标，要付诸实际行动时，就提升到项目。
• 项目完成，便归档，有需要时可以随时找到。

会否付诸实际行动，是 PARA 方法的关键。

聚焦项目与领域的关系

项目代表当下，而领域更加关注未来。创建一个清晰的项目清单，能让你知道你的能力边界。而一旦界定了边界，你就可以有意识地、战略性地决定做或者不做，如何弥补还是尽快放弃。

• 知道自己能承诺的边界。你所承诺的东西不应该是一些模糊的责任，而是一串有形的结果。换句话说，就是项目。
• 将目前的努力和长期目标关联。通过将领域分解成大小不一的项目，你可以确保你的项目清单几乎每周都会有变化。这就创造了一种节奏和完成项目的动力，以保持你的积极性。
• 知道是否朝着目标前进。把领域分解成你计划和执行的每一个单独的项目。这不仅可以显示出你所经历的清晰的进展和成长，每一个活动都是在前一个活动的基础上建立起来的，而且还可以方便地提供给你一个目录，记录你所取得的成果。
• 项目和领域需要完全不同的思维方式。项目需要你像激光一样聚焦，朝着一个结果不断前进。每个领域需要反省和自我觉察。

如何开始

1. 理清你的领域

   理清领域最难的地方在于，你要坦然面对自己的内心。停下来问问自己想要成为什么样的人（而不是别人希望我们成为的人），那么可以把这件事当做一切的起点。

2. 先定义项目清单

   核心问题是定义你的项目，而工具只是一个解决手段。与其寻找 「一个万能的通用工具」，不如制定你的项目列表，然后将这个列表复制到你现在和将来使用的每一个工具上。

3. 建立项目清单

   收集完整的清单是获得控制权的第一步。创建一个清晰的项目清单，让你有信心对新的承诺说是或不是。

4. 和过去告别

   如果从未使用过 PARA 方法，那么可以这样重新开始。不如和过去的信息告别，将它们束之高阁，当需要的时候，通过搜索还是能找到它们。所谓近年流行的讲法“断舍离”。

参考

• The PARA Method: A Universal System for Organizing Digital Information

基本概念

Container (容器)：使用 Linux namespace (名字空间)、cgroups (控制组)、及 CoW (写时拷贝) 文件系统来提供应用级依赖管理的 Linux 进程组。

使用场景包括本地测试和开发、分布式生产环境，如：Kubernetes。

一般通过容器镜像和人类友好的用户接口这种标准化的方式来定义打包。OCI (Open Container Initiative) 规范定义和分发容器镜像、执行容器。

• 运行时规范：定义需要支持的运行时，包括操作及生命周期阶段
• 镜像格式规范：定义容器镜像基于元数据和层如何构造
• 分发规范：定义容器镜像如何交付

容器具有 immutability (不可变性)。

Linux 名字空间

Linux 本来有资源的全局视图，为了允许进程有资源的局部视图 (如：文件系统、网络、甚至用户等)，于是 Linux 引入了名字空间。

Linux 名字空间是有关资源可见性的内容，且可以用来隔离操作系统资源的不同方面。

创建名字空间的系统调用：

• clone：用于创建子进程，该子进程可以与父进程共享其部分执行上下文
• unshare：用于从现有的进程移除共享的执行上下文
• setns：用于将现有的进程合并到现有的名字空间

查看名字空间： sudo lsns

Linux 控制组

一种管理进程组的机制，可用来控制系统资源占用，如：CPU、内存、I/O 等。

内核提供两个 cgroups 版本：

• cgroups v1：仍然广泛使用
• cgroups v2：最终将替换 v1，应聚焦到 v2

cgroups 包含 CPU、内存、I/O、PID、device 等控制器。

• 查看控制组： systemctl status
• 查看控制组资源占用： systemd-cgtop

写时拷贝文件系统

Copy-on-Write (写时拷贝) 文件系统用来提升 I/O 速度，同时减少使用空间。

原文件 File 1 由 A、B、C 块组成，拷贝的文件叫 File 2。代替拷贝实际的块，只拷贝元数据 (块的指针)。

当 File 2 修改时 (假定 C 块更改)，只拷贝 C 块：新的 C’ 块被创建，而 File 2 仍然指向未修改的 A 和 B 块。

union mounts (联合挂载)：将多个目录组合 (挂载) 到一个位置，这样，对于最终目录的用户来说，该目录包含所有参与目录的组合内容。

实现包括：

• Unionfs：广泛用于 CD-ROM 和 DVD
• OverlayFS：Docker 现在默认使用
• AUFS：Docker 最初使用，但没有合并到内核主干
• btrfs：基于 CoW 原理及逻辑卷管理的文件系统

在容器中，CoW 用于构建时，将应用及所有依赖打包成可分发的单一、自包含文件。通常将 CoW 文件系统与绑定挂载结合使用，以一种有效的方式将不同依赖项的内容层放在彼此之上。

参考

• https://man7.org/linux/man-pages/man7/namespaces.7.html
• https://www.man7.org/linux/man-pages/man7/cgroups.7.html
• https://lwn.net/Articles/312641/

控制台

控制台（Console），又称为系统控制台（System console）、计算机控制台（Computer console）、根控制台（Root console）、以及操作员控制台（Operator’s console）。事实上，早先的控制台是一种用来操作计算机的硬件，如图所示。5252 https://en.wikipedia.org/wiki/System_console#/media/File:IBM_1620_Model_1.jpg从这幅图片中，我们可以看到 IBM 1620 计算机的控制台由左边的操作前面板和右边的打字机组成。通过控制台，操作员将文本数据或待执行的指令录入到计算机，并最终通过计算机读取或执行。

IBM 1620 的控制台

IBM 1620 控制台的操作前面板

随着计算机的发展，控制台从硬件概念变成了一个软件概念。于是，控制台有了新的称呼：虚拟控制台。虚拟控制台正好与物理的控制台硬件相对。通过观察 Linux 系统的启动过程，我们不难发现：在经过计算机硬件自检之后，一旦由引导载入程序接管，不一会儿便会进入系统控制台。在这个过程中，通常会显示如图所示的 Linux 系统引导信息。5353 https://en.wikipedia.org/wiki/Linux_console#/media/File:Knoppix-3.8-boot.png

Linux 系统虚拟控制台

终端

跟控制台一样，起初的终端（Terminal）也是一种计算机硬件设备。从外形上看，终端类似于我们今天所看到的显示器和键盘的结合体。通过终端，用户将指令和数据输入到计算机。同时，终端也将计算机执行的结果展示给用户。图中显示的是曾经广为流行的终端 DEC VT100。5454 https://en.wikipedia.org/wiki/Computer_terminal#/media/File:DEC_VT100_terminal.jpg

DEC VT100 终端

或许你会产生疑问，为什么会出现终端这种硬件设备呢？以今天的眼光来看，显得似乎有些难以理解。诞生之初的计算机造价相当昂贵，可不像现在人人都能拥有一台那么简单。除了大型商业组织或大学研究机构，很难在别处看到计算机的身影。为了能够共享计算机资源，终端应运而生。然而，伴随着科技的进步，终端最终掉进了历史的黑洞。不过，它后来却以新的形式重生，这就是终端模拟器（Terminal emulator），或称之为虚拟终端。

终端模拟器

终端模拟器，即用来模拟终端硬件设备的应用程序。在物理终端中存在的某些显示体系结构，比如用来控制色彩的转义序列、光标位置等在终端模拟器中也得到了支持。下图显示 Linux 中流行的终端程序之一 XTerm。

XTerm 终端模拟器

不管是 Linux 操作系统，还是 macOS 操作系统，乃至 Windows 操作系统，今天都有许多终端模拟器可以选择。以下罗列的是这三个操作系统中比较流行的终端模拟器。

Shell

Shell 是一种命令解释程序，它负责用户输入命令的读取、解析和执行。现代 Shell 除了具有与用户直接交互的特性之外，通常也包含编程功能，支持变量、数组、函数、循环、条件等编程基本要素。

Shell 之所以如此称呼，是由于它相对 Unix 及 Linux 的核心——内核（Kernel）而言，处于整个操作系统的最外层，就像乌龟的壳一样。也正因为如此，Shell 提供用来访问系统服务的用户界面，扮演着与内核交互的角色，如图所示。

Shell 与内核

在 Unix 及 Linux 的发展过程中，出现了许多种 Shell，其中比较知名的包括：sh、csh、ksh、bash、zsh 等等。

root@toydroid:~# ls -l /bin/sh
lrwxrwxrwx 1 root root 4 Jan 24  2017 /bin/sh -> dash

root@codeland:~# ls -l /bin/sh
lrwxrwxrwx 1 root root 4 Feb  7 15:15 /bin/sh -> bash

zsh

zsh 是 Z shell 的简称，最初的版本由 Paul Falstad 所开发，发布于 1990 年。zsh 极大的扩展了 Bourne shell 的功能，并包含来自 tcsh、ksh、bash 等 Shell 的特性。

在交互用户体验上，zsh 尤其出彩。比如，它支持对命令的选项进行补全、可以设置右提示符等，如图所示。

zsh 的右提示符

观测策略

OODA 循环（OODA loop）是用于观测场景的一个策略。它提供一种结构化的方法来测试基于假设的观测数据，并据此采取行动。即，一种从信号获得可行动洞见的方法。

• observe（观测）
• orient（调整）
• decide（决定）
• act（行动）

例如，应用程序运行缓慢。

1. 假定有多种可能原因：没有足够的内存、CPU 执行周期太短、网络 I/O 不够等
2. 测量每种资源的消耗
3. 单独更改每种资源的分配，并测量输出
4. 在提供更多内存后改进了应用程序的性能吗，若是，则找到了原因；若否，则继续对其它资源进行调整

概念

• 可观测性(Observability)：通过测量外部信息来访问系统(如 Linux)的内部状态，其目的是为了采取行动。
• 信号类型(Signal types)：体现有关系统状态信息的不同方法，如：文本、数值。
• 来源(Source)：生成信号，可能是 Linux 操作系统，或者一个应用程序。
• 目标(Destination)：消耗、存储、处理信号的地方。
• 遥测(Telemetry)：从来源提取信号并传输到目标的过程。

信号类型

日志(Logs)

每个系统的基本信号类型。

/var/log

1. apt 的日志
2. 登录及验证处理日志
3. 失败的登录日志
4. 打印相关日志
5. dpkg 的日志
6. 设备驱动的日志
7. 系统安装日志
8. systemd 日志
9. 内核日志
10. 用户最后登录日志
11. ntp 相关日志
12. 系统日志

Linux 性能观测工具

Linux 性能观测工具

(来源)

Overlay 网络

Overlay（覆盖）网络指在现有的物理网络之上创建的虚拟或逻辑网络。

Overlay 网络

例子：internet、SDN（software-defined networking）

Nebula 简介

Nebula 是专注于性能、简洁及安全的可扩展 overlay 网络工具。利用它，可以将世界各地的计算机无缝连接在一起。它支持的系统包括 Linux、FreeBSD、macOS、Windows、iOS 及 Android。Nebula 不仅能用于连接少量计算机，而且也能连接成千上万的计算机。

Nebula 特点

• Peer-to-peer 3 层网络，去中心化的蜂窝网络。
• 主机之间通过加密连接通信，隧道支持 TCP/UDP/ICMP 流量。
• 与服务提供者无关，支持任意主机，包括云主机、数据中心的服务器、笔记本等等。
• 允许高级流量过滤。
• 主机通过证书标明自己的身份。
• 快速。

使用印象

• 安装（独立分发的二进制包，包括 x86、arm、mips 等架构）及配置简单。
• 能够穿透 NAT（UDP 打洞），路由自发现。
• 防火墙配置灵活，支持基于分组的规则。

参考

• Nebula 开源代码
• Introducing Nebula, the open source global overlay network from Slack
• Nebula Quick Start guide

万维网的发明

1989 年，在 CERN 工作时，Tim Berners-Lee 编写了透过英特网构建超文本系统的提案。开始叫 Mesh，后来改为 World Wide Web。透过现有的 TCP 及 IP 协议构建，它由 4 个部分组成：

1. 表示超文本文档的格式 HyperText Markup Language (HTML)
2. 交换这些文档的协议 HyperText Transfer Protocol (HTTP)
3. 呈现（及编辑）这些文档的客户端 WorldWideWeb（第一个网络浏览器）
4. 给予访问文档的服务器 httpd

HTTP/0.9 - 单行协议

HTTP 的最初版本没有版本号，后来叫 0.9。HTTP/0.9 非常简单，请求只有一行：

GET /mypage.html

响应也很简单，只有文件本身：

<html>
  A very simple HTML page
</html>

HTTP/1.0 - 构建可扩展性

HTTP/0.9 很有限，但浏览器和服务器迅速使它功能更多：

• 每个请求发送版本信息（HTTP/1.0）
• 响应开头发送状态码，这允许浏览器识别请求是否成功
• 引入 HTTP 头部的概念，能传输元数据，协议变得更灵活和可扩展
• 除 HTML 文件外，能传输其他文档

此时，一个典型的请求和响应看起来像：

GET /mypage.html HTTP/1.0
User-Agent: NCSA_Mosaic/2.0 (Windows 3.1)

200 OK
Date: Tue, 15 Nov 1994 08:12:31 GMT
Server: CERN/3.0 libwww/2.17
Content-Type: text/html
<HTML>
A page with an image
  <IMG SRC="/myimage.gif">
</HTML>

由服务器和浏览器添加的功能及解决的问题最后形成了 RFC 1945 文档，并定义为 HTTP/1.0。

HTTP/1.1 - 标准化协议

在实现 HTTP/1.0 的同时，也在并行推进协议的标准化。HTTP 的第一个标准化版本 HTTP/1.1 于 1997 年初发布。HTTP/1.1 引入了许多改进：

• 连接能被重用，从而节省时间
• 添加了管线化技术（Pipelining），允许第一个应答在完全传输前发送第二个请求
• 支持分块（Chunked）响应
• 引入缓存控制机制
• 引入内容协商，包括语言、编码、类型等
• Host 头允许从相同 IP 地址主机不同的域名

一个典型的请求流：

GET /en-US/docs/Glossary/Simple_header HTTP/1.1
Host: developer.mozilla.org
User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10.9; rv:50.0) Gecko/20100101 Firefox/50.0
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language: en-US,en;q=0.5
Accept-Encoding: gzip, deflate, br
Referer: https://developer.mozilla.org/en-US/docs/Glossary/Simple_header

200 OK
Connection: Keep-Alive
Content-Encoding: gzip
Content-Type: text/html; charset=utf-8
Date: Wed, 20 Jul 2016 10:55:30 GMT
Etag: "547fa7e369ef56031dd3bff2ace9fc0832eb251a"
Keep-Alive: timeout=5, max=1000
Last-Modified: Tue, 19 Jul 2016 00:59:33 GMT
Server: Apache
Transfer-Encoding: chunked
Vary: Cookie, Accept-Encoding

(content)

HTTP/1.1 作为 RFC 2068 发布。

HTTP/2 - 更好的性能

在 HTTP/2 发布之前，HTTP/1.1 稳定运行了超过 15 年，并在下列方面进行了扩展：

• 用于安全传输 网景通讯公司在 HTTP 之上创建了加密传输层 SSL。SSL 后来标准化，并变成了 TLS。
• 用于复杂应用 WebDAV、REST（representational state transfer）、服务器发送事件、WebSocket 等。
• Web 的安全模型 CORS（Cross-Origin Resource Sharing）、CSP（Content Security Policy）、DNT（Do Not Track）等。

网页变得越来越复杂，更多的数据传输意味着更多的 HTTP 请求。2010 年初，Google 实现了一个试验协议 SPDY。SPDY 增加了响应性，并解决了重复数据的传输问题，成为 HTTP/2 的基础。

HTTP/2 与 HTTP/1.1 的差异：

• 不是文本协议，而是二进制协议
• 它是多路复用协议，透过相同连接能创建并行的请求
• 它压缩头部，移除重复的数据传输
• 服务器 push 的机制能填充客户端缓存的数据

HTTP/2 在 2015 年正式标准化。截止 2022-01，全球大约 46.9% 的网站使用。

HTTP/3 - 透过 QUIC 的 HTTP

HTTP/3 使用 QUIC 协议代替 TCP 协议。截止 2022-10，全球大约 26% 的网站使用。

• QUIC 提高了目前使用 TCP 的面向连接的网络应用的性能，有“TCP/2”之称
• QUIC 是传输层网络协议，通过 UDP 使用用户空间的拥塞控制
• 主要是为了修正 HTTP/2 的队头阻塞（Head-of-line blocking，第一个数据包受阻而导致整列数据包受阻）问题
• QUIC 针对 HTTP 连接提供更低的延迟
• QUIC 透过 UDP 执行多个流，并实现包丢失检测及重新传输

HTTP/3 于 2022 年在 RFC 9114 中定义。

参考

• alt.hypertext
• Hypertext Transfer Protocol
• HTTP

简介

ZFS 是一个具有卷管理能力的文件系统。最初是 Sun Microsystems Solaris 操作系统的一部分，后来随开源的 OpenSolaris 发布。在 Oracle 收购 Sun Microsystems 后，将其闭源。2005 ~ 2010 年期间，ZFS 的开源版本被移植到 Linux、FreeBSD、Mac OS X。2013 年，OpenZFS 创建来用于协作开源 ZFS 的开发。

存储数据管理一般包括两个方面：

1. 一个或多个块存储设备（如：硬盘、SD 卡）的物理卷管理
2. 存储在逻辑块设备上的数据及文件管理

ZFS 与其它文件系统的不同之处在于，它统一了存储系统的这两种角色，既是卷管理器，也是文件系统。ZFS 被设计成确保存储在磁盘上的数据不会因硬件或操作系统的物理错误或错误处理而丢失。ZFS 也包含数据集和池级快照及复制机制。

ZFS 存储池

特性

ZFS 特性非常丰富，以下是几个典型的代表：

• 数据完整性 使用基于 Fletcher 的校验和或贯穿文件系统树的 SHA-256 哈希实现。
• RAID (“RAID-Z”) 跨多块磁盘存储数据的多份拷贝。代替硬 RAID，ZFS 利用软 RAID 提供 RAID-Z 及磁盘镜像。
• 容量 ZFS 是 128 位文件系统，单文件最大支持 16 EB，单独的目录支持 2\(^{48}\) 个条目。
• 加密 ZFS 的加密能力已嵌入到 I/O 管道。在写入时，块能被压缩、加密、校验和及去重。
• 读/写效率高 ZFS 跨池中的所有 vdev 自动化分配数据存储，以最大化池子性能。
• 其它 缓存机制、写时拷贝事务模型、快照及克隆、发送及接收快照、数据去重等等。

许可

ZFS 许可协议为 CDDL，与 GPL 不兼容，故不能随 Linux 内核一起分发。

安装

apt update
apt install zfs-dkms zfsutils-linux

用法

创建存储池，raidz vdev：

# zpool create -f -m /mnt/data bigdata \
               raidz \
                  ata-ST3000DM001-9YN166_S1F0KDGY \
                  ata-ST3000DM001-9YN166_S1F0JKRR \
                  ata-ST3000DM001-9YN166_S1F0KBP8 \
                  ata-ST3000DM001-9YN166_S1F0JTM1

创建数据集：

# zfs create <nameofzpool>/<nameofdataset>

参考

• ZFS
• OpenZFS on Linux
• ZFS 101—Understanding ZFS storage and performance