HTTP

HTTP 的 header 是 key-value 结构，key 在规范中不允许使用下划线 _ 连接两个单词，需使用 - ，不允许使用 @ 。

Host: 客户端指定服务器的域名 Content-Length: 服务器表明响应数据的长度 Connection: 客户端要求服务器使用 TCP 持久连接，以便其他请求复用这个 TCP 连接 Content-Type: 服务器表明响应数据的格式，如 text/html, application/json Accept: 客户端表明自己能接受哪些数据格式，常见 */* Content-Encoding: 服务器表明响应数据的压缩方法 Accpet-Encoding: 客户端表明自己能接受的压缩方法

GET: 从服务器获取指定 URL 的资源，如文本、页面、图片等 POST: 向服务器的指定 URL 提交数据，数据存在于 body 中

GET 是安全且幂等的，GET 是只读的操作，无论操作多少次，结果都是一样的 POST 是不安全且不幂等的，每次操作会修改服务器上的资源，多次操作会累积

长连接，前提条件是我们先得确定请求头与响应体的长度。

HTTP1.0 默认 connection 为 close ； HTTP1.1 默认 connection 为 keep-alive 。

对于请求来说，如果当前请求需要有 body ，如 POST 请求，那就需要客户端在请求头中指定 content-length 来表明 body 的大小，否则返回 400 错误。也就是说，请求体的长度是确定的。

响应体的长度：

• 对于 HTTP1.0 协议来说，如果响应头中 有content-length 头，则以 content-length 的长度就可以知道 body 的长度了，客户端在接收 body 时，就可以依照这个长度来接收数据，接收完后，就表示这个请求完成了。而如果没有 content-length 头，则客户端会一直接收数据，直到服务端主动断开连接，才表示 body 接收完了。
• 对于 HTTP1.1 协议来说，如果响应头中的 Transfer-encoding 为 chunked 传输，则表示 body 是流式输出， body 会被分成多个块，每块的开始会标识出当前块的长度，此时， body 不需要通过长度来指定。如果是非 chunked 传输，而且有 content-length ，则按照 content-length 来接收数据。否则，如果是非 chunked ，并且没有 content-length ，则客户端接收数据，直到服务端主动断开连接。

pipeline 其实就是流水线作业，它可以看作为 keepalive 的一种升华，因为 pipeline 也基于长连接的，目的就是利用一个连接做多次请求。如果客户端要提交多个请求，对于 keepalive 来说，那么第二个请求，必须要等到第一个请求的响应接收完全后，才能发起，这和 TCP 的停止等待协议是一样的，得到两个响应的时间至少为 2RTT。而对 pipeline 来说，客户端不必等到第一个请求处理完后，就可以马上发起第二个请求。得到两个响应的时间可能能够达到 1RTT。

静态字典；动态字典；Huffman 编码进行压缩。 客户端和服务器都会建立和维护字典，用长度较小的索引号代替 header ，再使用 Huffman 编码压缩数据。 静态字典：HTTP/2 规则有 61 组高频出现的字符串和字段。

非固定的 Header Value 是变化的，会经过 Huffman 编码后发送出去。 根据 RFC7541 规范，如果头部字段属于静态表范围，并且 Value 是变化的，那么他的 HTTP/2 头部的前 2 位固定为 01 ，头部格式如图：

  0   1   2   3   4   5   6   7
+---+---+---+---+---+---+---+---+
| 0 | 1 |      Index (6+)       |
+---+---+-----------------------+
| H |     Value Length (7+)     |
+---+---------------------------+
| Value String (Length octets)  |
+-------------------------------+

HTTP/2 头部因为是二进制编码，不需要冒号空格和末尾的 \r\n 作为分隔符，改用字符串长度来分割 Index 和 Value 。H 标记是否启用 Huffman 编码。HTTP/2 还定义了一张静态 Huffman 表。

动态表编码：Index 从 62 开始，在编码解码时更新。例如若客户端发送了一个 custom-header 字段，双方更新自己的动态表，添加一个 Index 号 62 ，下一次根据规范发送 62 就行了。但动态表生效需要是 同一个连接，重复传输完全相同的 HTTP 头部 。如果字段在一个连接上只发送了一次，或者重复传输时，字段变化了，动态表就无法被充分利用。 服务器一般有 http2_max_requests 限制一个连接能传输的请求数量，避免动态表无线增大。

    +-----------------------------------------------+
    |                 Length (24)                   |
    +---------------+---------------+---------------+
    |   Type (8)    |   Flags (8)   |
    +-+-------------+---------------+-------------------------------+
    |R|                 Stream Identifier (31)                      |
    +=+=============================================================+
    |                   Frame Payload (0...)                      ...
    +---------------------------------------------------------------+

Frame Type: 数据帧（前 3 种）和控制帧：

Flags 可以携带控制信息如 END_HEADERS, END_STREAM, PRIORITY ；R 为保留位；Stream Identifier 帧标识用于标识该 Frame 属于哪个 Stream 。Payload 存放的是经过 HPack 算法压缩过的 HTTP 头部和包体。

1 个 TCP 连接包含 1 个或多个 Stream ， Stream 是 HTTP/2 并发的关键技术； Stream 里可以包含 1 个或多个 Message ， Message 对应 HTTP/1 中的请求或响应，由 header 和 body 组成； Message 里包含 1 个或多个 Frame ， Frame 是 HTTP/2 的最小单位，以二进制压缩格式存放 HTTP/1 中的请求或响应。

HTTP 消息可以由多个 Frame 构成，1 个 Frame 可以由多个 TCP 报文构成。

Nginx 主动推送设置：

location /test.html {
    http2_push /test.css;
}

服务器主动的推送，用的是偶数号 Stream ，通过 PUSH_PROMISE 帧传输 HTTP 头部，通过帧的 Promised Stream ID 字段告知客户端，接下来会在哪个偶数号 Stream 中发送包体。

但因为下层 TCP 协议的特性 若 TCP 传输发生丢包，则会造成 队头阻塞 。

无队头阻塞：每个数据包都有一个序号唯一标识，当某个 Stream 流中的一个数据包丢失了，即使该流的其他数据包到达了，数据也无法被 HTTP/3 读取，直到 QUIC 重传丢失的报文。但 这个流不会影响到其他流 。多个 Stream 间是独立的，不像 HTTP/2 那样多个流复用一个 TCP 连接。 更快的连接建立：对于 HTTP/1 和 HTTP/2 ， TCP 和 TLS 是分层的，分别属于内核实现的传输层和 OpenSSL 实现的表示/会话层，难以合并在一起，需要分批握手。 HTTP/3 在传输数据前需要 QUIC 握手，需要 1 RTT ，目的是确认双方的 连接ID ，连接 ID 可以用于连接迁移。 QUIC 包含了 TLS 1.3 ，仅需 1 RTT 就可以完成建立连接与密钥协商，在第二次连接的时候，应用数据包可以和 QUIC 握手信息（连接信息 + TLS 信息）一起发送，达到 0-RTT 的效果。 连接迁移：不使用 TCP 的四元组来“绑定”链接，通过 连接ID 来标记通信的两个端点，客户端和服务器可以各自选择一组 ID 来标记自己，当网络发生变化导致 IP 地址改变，只要仍保有上下文信息（连接 ID 、 TLS 密钥），就可以“无缝”地复用原连接，消除重连的成本。

静态表扩大到 91 项。

HPack的动态表在首次请求-响应后，双方会将未包含在静态表中的 header 项更新到各自的动态表中，接着后续传输时仅用 1 个数字 Index 表示，然后对方可以根据 Index 查到对应的数据，提高传输效率。但在丢包的情况下，会导致双方动态表不同步，造成阻塞。 而 QPack 有两个特殊的 单向 流，用于同步双方的动态表：

• QPack Encoder Stream: 用于将一个字典（key-value）传递给对方，客户端可以通过这个 Stream 发送不属于静态表的 HTTP header
• QPack Decoder Stream: 用于响应对方，通知对方其刚发的字典已经更新

1. 浏览器解析 URL

   protocol://domain/path/file?parameter=...#anchor
   

2. 浏览器构造 HTTP 请求
3. DNS 查询
   • 浏览器缓存
   • 操作系统缓存 (hosts)
   • 本地 DNS 服务器
   • 根 DNS 服务器
   • 顶级域 DNS 服务器
   • 权威 DNS 服务器
   • 得到域名的 IP 地址，可能为多个
4. 调用 Socket 库发送 HTTP 请求
5. 客户端 TCP 层
6. 客户端 IP 层
7. …网络…
8. 服务器处理

爬虫、反爬虫、反反爬虫。

URI 包括 URL 和 URN 两个类别，URL 是 URI 的子集，所以 URL 一定是 URI ，而 URI 不一定是 URL 。

URI = Universal Resource Identifier 统一资源标志符，用来标识抽象或物理资源的一个紧凑字符串。

URL = Universal Resource Locator 统一资源定位符，一种定位资源的主要访问机制的字符串，一个标准的URL必须包括：protocol、host、port、path、parameter、anchor。

URN = Universal Resource Name 统一资源名称，通过特定命名空间中的唯一名称或ID来标识资源。

常见 content-type ：

• application/x-www-form-urlencoded

  key1=value1&key2=value2
  

• multipart/form-data
• application/json

• max-age 是指定强缓存的时间
• no-cache 是会用本地的缓存但每次都会协商
• no-store 是禁用掉缓存

一般是入口 html 文件设置 no-cache ，资源文件如 js, css 都带有 hash 值，更新 html 后请求的资源文件名不一样，也就相当于刷新了缓存。