文章內容

海量數據高性能分頁新方法

發布時間: 2012/8/2 18:13:45

海量數據高性能分頁新方法
最近，一直在進行項目性能的優化工作，從中也有一些心得體會，拙見僅供大家參考，歡迎探討交流！
    對于數據庫分頁的做法，從網上的資料綜合來看，大體分為三類：
    1。根據ID分頁
    2。使用Top分頁
    3。利用Not In分頁-

    這三種方法中，速度最快的是第一種，第二種其次，第三種是最慢的。第一種方法雖然最快，但是，在實際的應用中，其實并不多。因為，基本上沒有頁面會根據ID來排序，通常都是根據某（幾）個有意義的字段來排序。第二種方法是我平常用的最多的，Top的效率還是不錯的。第三種方法，由于會引起全表掃描，所以，一般不怎么推薦使用。在這里，第二和第三種方法都有一個缺點，就是隨著頁數的增多，越是靠后的數據，獲取越慢。
    所以，我在思考，有沒有一種比Top更快的方法呢？現知的就只有按照ID分頁了，但是，我的數據中沒有ID字段，那么我可以做一個變通，把要排序的（一個或多個）字段組合成一個相當于ID功效的東西來看待，然后，對這個組合字段排序。我的表達可能不是很清楚，那么我們舉個例子吧。
    現有一表：工廠物料表，數據量60萬
    TblOrgItem
    (
        OID nvarchar(40),--自動產生的GRID
        OrgCode nvarchar(50),--工廠代碼
        OrgName nvarchar(50),--工廠名稱
        ItemNo nvarchar(50),--物料編碼
        ItemName nvarchar(50),--物料名稱
        ......
    )
    需求：按照先"工廠代碼"升序，再"物料編碼"升序的順序排序顯示
    那么這個時候我們可以把"工廠代碼"+"物料編碼"的組合看作是一個主鍵，然后對它進行分頁。在這里，我們需要這么幾個參數：
    傳入參數：
    @PageSize int,
    @PageIndex int,
    @LastOrgCode nvarchar(50),--上一頁最后一條記錄的工廠代碼
    @LastItemNo nvarchar(50),--上一頁最后一條記錄的物料編碼
    組合起來的分頁SQL應該就是這樣的了，我直接寫了，實際執行的時候要拼湊成字符串動態執行：
    select top @PagaSize OrgCode,OrgName,ItemNo,ItemName from TblOrgItem
                where OrgCode>=@LastOrgCode and ItemNo>@LastItemNo --如果是第一頁，可以不用這一行
                Order by OrgCode,ItemNo
    注：對于組合字段大于2個及2個以上的，Where 條件的寫法是：前面的字段都是用">="判斷，只有最后一個字段使用">"判斷。
    這個分頁SQL執行的效率應該比較接近用ID進行分頁的效率了，如果，再在這個表的OrgCode,ItemNo字段上加上聚集索引的話，分頁的效果又會更上一層樓了！