??數(shù)據(jù)遷移是一種將離線存儲與在線存儲融合的技術(shù)。它將高速、高容量的非在線存儲設(shè)備作為磁盤設(shè)備的下一級設(shè)備，然后將磁盤中常用的 數(shù)據(jù)按指定的策略自動遷移到磁帶庫等二級大容量存儲設(shè)備上。當(dāng)需要使用這些數(shù)據(jù)時，分級存儲系統(tǒng)會自動將這些數(shù)據(jù)從下一級存儲設(shè)備調(diào)回到上一 級磁盤上。對于用戶來說，上述數(shù)據(jù)遷移操作完全是透明的，只是在訪問磁盤的速度上略有怠慢，而在邏輯磁盤的容量上明顯感覺大大提高了。下面就由新網(wǎng)小編和大家講一講數(shù)據(jù)遷移的特點(diǎn)有哪些。

??一、直接映射

??原來是什么就是什么，原封不動照搬過來，對這樣的規(guī)則，如果數(shù)據(jù)源字段和目標(biāo)字段長度或精度不符，需要特別注意看是否真的可以直接映射還是需要做一些簡單運(yùn)算。

??二、字段運(yùn)算

??數(shù)據(jù)源的一個或多個字段進(jìn)行數(shù)學(xué)運(yùn)算得到的目標(biāo)字段，這種規(guī)則一般對數(shù)值型字段而言。

??三、參照轉(zhuǎn)換

??在轉(zhuǎn)換中通常要用數(shù)據(jù)源的一個或多個字段作為Key，去一個關(guān)聯(lián)數(shù)組中去搜索特定值，而且應(yīng)該只能得到唯一值。這個關(guān)聯(lián)數(shù)組使用Hash算法實(shí)現(xiàn)是比較合適也是最常見的，在整個ETL開始之前，它就裝入內(nèi)存，對性能提高的幫助非常大。

??四、字符串處理

??從數(shù)據(jù)源某個字符串字段中經(jīng)?？梢垣@取特定信息，例如身份證號。而且，經(jīng)常會有數(shù)值型值以字符串形式體現(xiàn)。對字符串的操作通常有類型轉(zhuǎn)換、字符串截取等。但是由于字符類型字段的隨意性也造成了臟數(shù)據(jù)的隱患，所以在處理這種規(guī)則的時候，一定要加上異常處理。

??五、空值判斷

??對于空值的處理是數(shù)據(jù)倉庫中一個常見問題，是將它作為臟數(shù)據(jù)還是作為特定一種維成員？這恐怕還要看應(yīng)用的情況，也是需要進(jìn)一步探求的。但是無論怎樣，對于可能有NULL值的字段，不要采用“直接映射”的規(guī)則類型，必須對空值進(jìn)行判斷，我們的建議是將它轉(zhuǎn)換成特定的值。

??六、日期轉(zhuǎn)換

??在數(shù)據(jù)倉庫中日期值一般都會有特定的，不同于日期類型值的表示方法，例如使用8位整型20040801表示日期。而在數(shù)據(jù)源中，這種字段基本都是日期類型的，所以對于這樣的規(guī)則，需要一些共通函數(shù)來處理將日期轉(zhuǎn)換為8位日期值、6位月份值等。

??七、日期運(yùn)算

??基于日期，我們通常會計算日差、月差、時長等。一般數(shù)據(jù)庫提供的日期運(yùn)算函數(shù)都是基于日期型的，而在數(shù)據(jù)倉庫中采用特定類型來表示日期的話，必須有一套自己的日期運(yùn)算函數(shù)集。

??八、聚集運(yùn)算

??對于事實(shí)表中的度量字段，他們通常是通過數(shù)據(jù)源一個或多個字段運(yùn)用聚集函數(shù)得來的，這些聚集函數(shù)為SQL標(biāo)準(zhǔn)中，包括sum,count,avg,min,max。

??九、既定取值

??這種規(guī)則和以上各種類型規(guī)則的差別就在于它不依賴于數(shù)據(jù)源字段，對目標(biāo)字段取一個固定的或是依賴系統(tǒng)的值。

??通俗地講，數(shù)據(jù)遷移 是一種可以把大量不經(jīng)常訪問的數(shù)據(jù)存放在帶庫、盤庫等離線介質(zhì)上，只在盤陣上保存少量訪問頻率高的數(shù)據(jù)的技術(shù)。當(dāng)那些磁帶等介質(zhì)上數(shù)據(jù)被訪問時，系統(tǒng)自動 的把這些數(shù)據(jù)回遷到盤陣中；同樣，盤陣中很久未訪問的數(shù)據(jù)被自動遷移到磁帶介質(zhì)上，從而大大降低投入和管理成本。小伙伴們要想獲得更多數(shù)據(jù)遷移的內(nèi)容，請關(guān)注新網(wǎng)。