與 Intel 合作優化 Spark SQL 工作負載的 Google Cloud 成本

[aminakhatun26]

隨著人工智慧在新聞中佔據主導地位，公司正在努力從來自設備、用戶、網站等的大量資料流中獲得一切優勢。大數據分析持續推動創新，為新機會、人工智慧技術和客戶人口統計提供重要見解。這不是您是否需要添加或擴展大數據分析的問題，而是何時需要的問題。在我們的 Spark 部落格系列中，我們將重點放在 Apache Spark™ SQL 大數據 印度手機號碼列表 分析工作負載以及如何利用英特爾處理器獲得最大的收益。在本部落格中，我們將了解 Google Cloud™ 實例上的 Spark SQL 效能和價值結果。下一篇部落格將討論 Gluten 如何提高處理器效能並利用 Spark 部署的最佳 TCO 改進。

將 Apache Spark 與由最新英特爾處理器提供支援的 Google Cloud 執行個體結合
許多企業客戶使用強大的 Apache Spark 框架來處理雲端中的大量資料。例如，對於某些用例（例如零售交易處理），未能及時完成工作可能會導致違反服務等級協議 (SLA)，進而導致處罰、降低客戶滿意度並損害業務名聲。優化 Apache Spark 效能可協助公司準時完成任務、處理更多資料並處理新專案。它還允許管理員在不影響整體效能的情況下排除和解決任何問題，從而提高彈性和適應性。



Apache Spark 工作負載通常會將來自多個來源的資料提取到檔案或批次中，例如在需要從IoT 感測器提取資料的應用程式中或在串流資料應用程式中，即時統一跨多種語言的資料處理至關重要。然後，它對這些資料進行處理，並將處理後的資料轉換為目標資料集，公司使用該資料集產生商業智慧儀表板，為決策者提供見解，或向其他方提供資料。

在架構良好的 Spark 叢集系統中，例如具有 N4 第五代 Intel Xeon 實例的 Google Cloud，增強的處理能力可以實現高效的串流處理和大量資料的處理。這使得公司能夠按時將處理後的資料交付給相關係統或供應商。