從原理上說一下mpp和mr的區別?

　　MPP(Massively Parallel Processing)和MR(MapReduce)是兩種不同的數據處理框架，用于處理大規模數據集。它們有一些相似之處，但在原理和實現上存在一些顯著的區別。

　　1.計算模型：

　　(1)MPP：

　　MPP系統采用共享架構，其中多個處理單元(節點)共享相同的內存和存儲資源。每個節點獨立執行計算任務，但它們可以直接訪問整個數據集。

　　(2)MR：

　　MapReduce采用分布式計算模型，任務被分解為Map和Reduce兩個階段，每個階段都可以在不同的節點上并行執行。Map階段處理數據并生成中間鍵值對，Reduce階段對這些中間結果進行聚合。

　　2.任務執行流程：

　　(1)MPP：

　　MPP系統通常支持復雜的查詢和事務處理，可以在整個數據集上執行SQL查詢等操作，而不僅僅是簡單的Map和Reduce。

　　(2)MR：

　　MapReduce主要用于處理批處理任務，適用于離線數據處理。它的執行流程是Map階段將數據切分成小塊進行并行處理，然后Reduce階段對這些部分結果進行合并。

　　3.數據分布和存儲：

　　(1)MPP：

　　MPP系統通常使用共享存儲，并且數據可以在整個集群中共享。這種架構有助于復雜查詢的執行，因為查詢可以在整個數據集上執行而無需數據移動。

　　(2)MR：

　　MapReduce系統中，數據通常被切分成小塊并分布在各個節點上。Map階段的計算在數據所在的節點上進行，Reduce階段可能需要將數據移動到一個節點進行合并。

　　4.適用場景：

　　(1)MPP：

　　適用于復雜的分析查詢、交互式查詢和事務處理。常見的MPP系統包括Teradata、Greenplum等。

　　(2)MR：

　　適用于大規模的批處理任務，對于離線數據分析和處理較為有效。Hadoop是一個典型的MapReduce框架。

　　總體而言，MPP系統更適用于需要支持復雜查詢和事務處理的場景，而MapReduce更適合處理大規模的離線數據處理任務。