資料管線設計

資料管線會把那些超大量失序的資料（例如使用者操作歷程、應用日誌等等）整合成結構化、排序的資料。

通常資料管線的設計會根據商務需求去設計，也就是這個公司的架構可能很難套進另一間公司。 但是設計的模式和一些最佳實作的指南仍能在開發階段被套用進來。 除此之外，自動化的工具在某些場景也是必要的。