POST GZIP/Deflate Data to ASP.NET Web API

前一篇使用GZIP或DEFLATE壓縮，提升資料傳遞效能40倍，我們處理了查詢資料量大時，Web API 在傳遞未經壓縮的資料產生許多不必要的網路流量的問題。現在我們轉換方向，如果是用戶端要傳遞大量資料至 Web API 時，那麼我們要怎麼處理？這比較麻煩，有二個方向要討論，一是 Client 端進行發送請求時，必須先做 GZIP/Deflate 的壓縮，而 Web API 接收到 GZIP/Deflate 壓縮資料後需要解壓縮還原資料內容。

從這個方向來思考，你應該能發現另一件事，就是前一篇我們只專注在 GZIP/Deflate 的壓縮上，並無做任何解壓縮的工作，那是因為瀏覽器本身在協商過程與接收到的 Header 可以判定接收到的是 GZIP/Deflate 的內容，瀏覽器會直接幫我們進行 GZIP/Deflate 的解壓縮工作。

DecompressionHandler

一樣先思考資訊流，與前一篇方向完全相反，這裡是用戶端傳遞資料，是進來的方向，有二種擴充點可以選擇：MessageHandler、Action Filter。這二種擴充點都能做出符合需求解法，但因為進來的是資料，希望越早處理越好，以下選擇使用 MessageHandler 來處理。

/// <summary>
/// Decompression GZIP, Deflate content
/// </summary>
/// <seealso cref="System.Net.Http.DelegatingHandler" />
public class DecompressionHandler : DelegatingHandler
{
    protected override Task<HttpResponseMessage> SendAsync(HttpRequestMessage request, CancellationToken cancellationToken)
    {
        if (request.Content.Headers.ContentEncoding.Any())
        {
            var encodes = request.Content.Headers.ContentEncoding.ToList();
            foreach (var encode in encodes)
            {
                if (encode.Equals("deflate", StringComparison.InvariantCultureIgnoreCase))
                {
                    request.Content = DecompressDeflateContent(request);
                }

                request.Content = DecompressGzipContent(request);
            }
        }

        return base.SendAsync(request, cancellationToken);
    }


    /// <summary>
    /// Decompresses the content of the gzip.
    /// </summary>
    /// <param name="request">The request.</param>
    /// <returns></returns>
    private HttpContent DecompressGzipContent(HttpRequestMessage request)
    {
        MemoryStream outputStream = new MemoryStream();
        var inputStream = request.Content.ReadAsStreamAsync().Result;
        using (var decompressor = new GZipStream(inputStream, CompressionMode.Decompress))
        {
            decompressor.CopyToAsync(outputStream);
        }

        outputStream.Seek(0, SeekOrigin.Begin);

        HttpContent newContent = AddHeadersToNewContent(request, outputStream);
        return newContent;
    }

    /// <summary>
    /// Decompresses the content of the deflate.
    /// </summary>
    /// <param name="request">The request.</param>
    /// <returns></returns>
    private HttpContent DecompressDeflateContent(HttpRequestMessage request)
    {
        MemoryStream outputStream = new MemoryStream();
        var inputStream = request.Content.ReadAsStreamAsync().Result;
        using (var decompressor = new DeflateStream(inputStream, CompressionMode.Decompress))
        {
            decompressor.CopyToAsync(outputStream);
        }

        outputStream.Seek(0, SeekOrigin.Begin);

        HttpContent newContent = AddHeadersToNewContent(request, outputStream);
        return newContent;
    }


    private HttpContent AddHeadersToNewContent(HttpRequestMessage request, MemoryStream outputStream)
    {
        HttpContent requestContent = request.Content;
        HttpContent newContent = new StreamContent(outputStream);

        // 複製原內容所有 Header 到 newContent
        foreach (var header in requestContent.Headers)
        {
            // 更改 content-encoding header 到預設值
            if (header.Key.ToLowerInvariant() == "content-encoding")
            {
                newContent.Headers.Add(header.Key, "identity");
                continue;
            }

            // 更改 content-length header 值為解壓縮後的長度
            if (header.Key.ToLowerInvariant() == "content-length")
            {
                newContent.Headers.Add(header.Key, outputStream.Length.ToString());
                continue;
            }

            newContent.Headers.Add(header.Key, header.Value);
        }

        return newContent;
    }
}

其中的 content-encoding 操作可能是大家可比較看不懂的，可以參考 MDN 文件，以下節錄 identity 說明。

identity：Indicates the identity function (i.e. no compression, nor modification). This token, except if explicitly specified, is always deemed acceptable.

HTTP Client with GZIP/Deflate

這等於前一篇在做的事，現在換用戶端來做，發送前設定應有 Header 與壓縮，然後進行傳送。以下整理我常用的 HttpClient 與 RestSharp 兩個套件的 GZIP/Deflate 設置方式。

HttpClient

HttpClient 類別 是 .NET Framework 內建類別，它簡單好用且全部都是非同步方法，非常合適 RESTful API 的用戶端呼叫使用。

void Main(string[] args)
{
 Task t = MainAsync(args);
 t.Wait();
}

// Define other methods and classes here
static async Task MainAsync(string[] args)
{
 var jsonData = new 
 {
  Name = "ASP.NET Web API",
  Site = "skilltree.my",
  Lecturer = "Bruce Chen"
 };
 var jsonParam = JsonConvert.SerializeObject(jsonData);
 var content = JsonToGZipStream(jsonParam);
 content.Headers.ContentType = new MediaTypeHeaderValue("application/json");
 content.Headers.ContentEncoding.Add("gzip");

 HttpClientHandler handler = new HttpClientHandler()
 {
  AutomaticDecompression = DecompressionMethods.GZip | DecompressionMethods.Deflate
 };
 using (var client = new HttpClient(handler))
 {
  var response = await client.PostAsync("https://requestb.in/18i73061", content).ConfigureAwait(false);
  var result = await response.Content.ReadAsStringAsync().ConfigureAwait(false);
  Console.WriteLine(result);
 }
}

static StreamContent JsonToGZipStream(string jsonParam)
{
 byte[] jsonBytes = Encoding.UTF8.GetBytes(jsonParam);
 MemoryStream ms = new MemoryStream();
 using (GZipStream gzip = new GZipStream(ms, CompressionMode.Compress, true))
 {
  gzip.Write(jsonBytes, 0, jsonBytes.Length);
 }
 ms.Position = 0;
 StreamContent content = new StreamContent(ms);
 return content;
}

與平常的寫法差異只有加入 HttpClientHandler 的組態，指定 AutomaticDecompression，而這一行組態的重點在於要能處理前篇 ASP.NET Web API 已經把回應都使用 GZip 壓縮，當 HttpClient 取得使用 GZip 壓縮資料才能還原資料，這個還原資料的動作不需要在撰寫任何程式碼。然後 JSON 資料在傳遞前需要先使用 GZipStream 處理並指定好 Header 即可進行 POST 操作。

測試結果可以利用 https://requestb.in/ 查看：

RestSharp.org

RestSharp 也是一套強調簡單易用開源 HTTP Client 套件，我們也大量用於專案內。

void Main()
{
 var jsonData = new
 {
  Name = "ASP.NET Web API",
  Site = "skilltree.my",
  Lecturer = "Bruce Chen"
 };
 var jsonParam = JsonConvert.SerializeObject(jsonData);
 var content = JsonToGZipStream(jsonParam);
  
 var client = new RestClient("https://requestb.in/18i73061");
 var request = new RestRequest(Method.POST);
 request.AddHeader("cache-control", "no-cache");
 request.AddHeader("content-type", "application/json");
 request.AddHeader("content-encoding", "gzip");
 request.AddParameter("application/json", content.ToArray(), ParameterType.RequestBody);

 IRestResponse response = client.Execute(request);
 Console.WriteLine(response.Content);
}

static MemoryStream JsonToGZipStream(string jsonParam)
{
 byte[] jsonBytes = Encoding.UTF8.GetBytes(jsonParam);
 MemoryStream ms = new MemoryStream();
 using (GZipStream gzip = new GZipStream(ms, CompressionMode.Compress, true))
 {
  gzip.Write(jsonBytes, 0, jsonBytes.Length);
 }
 ms.Position = 0;
 return ms;
}

RestSharp 不用特別設置本身即支援 GZip 的解壓縮，唯一要處理的是先將 JSON 做 GZipStream 處理，這部分前面已經看很多了，就不多解釋了。一樣來看一下 requestb.in 的結果：

從 Header 來看,，RestSharp 幫我們做的事情比 HttpClient 多一些。

JavaScript

目前在 JavaScript 環境，看到許多人介紹 JSONC 這一套來做 GZIP 的壓縮與解壓縮。如果你是 SPA 環境，又有大量資料要傳遞，可以試試看。

小結

這樣處理之後，整個 ASP.NET Web API 的資訊流，從進入到輸出都有完整的 GZip 配套措施。

---

[工商服務]ASP.NET Web API 2 實戰訓練營 第二梯

11月04日~11月18日，skilltree 三日實戰訓練營目前熱烈招生中。

如同前篇與本篇的內容，我的課程內容包含大量實務上真實需求進而產生的實作，絕不是研討會上那種 Todo Demo 專案，完整的 REST/HTTP 理論加真實實務實作內容，不留私是我的習慣。有了完整的理論基礎，你才能打出拳拳到肉的招式，有了實戰範例的淬鍊，經驗值十倍奉還，輕鬆上場殺低敵。

課程簡介與報名網址：https://skilltree.my/events/7kaem