A8-SG186數(shù)據(jù)清理與遷移方案
已瀏覽:次
下載地址:http://qyrsrq.com/plus/view.php?aid=432
1、前言
SG186工程自2008年3月開始在四川啟動,分三階段逐步完成實施工作。第一階段完成全省直屬局營銷主體業(yè)務(wù)上線,第二階段完成全省農(nóng)電營銷業(yè)務(wù)上線,第三階段進(jìn)行全省60多家控股公司營銷業(yè)務(wù)上線,到目前為止接近尾聲。在實施過程中,各單位都存在老系統(tǒng)與SG186的數(shù)據(jù)遷移問題,四川鴻訊數(shù)據(jù)有限責(zé)任公司在這個過程中,針對自身系統(tǒng)及個別其他系統(tǒng)進(jìn)行了數(shù)據(jù)遷移。
蓬溪電力公司在業(yè)務(wù)上分農(nóng)電和營銷,在前期已經(jīng)完成一次數(shù)據(jù)遷移,將營銷部分的數(shù)據(jù)遷移到了SG186,并實現(xiàn)并行運行。為配合全面實施SG186工程,目前需要進(jìn)行再次數(shù)據(jù)遷移。
1.1現(xiàn)狀
- “營銷部分”狀況:
- “農(nóng)電部分”狀況
在原來的兩個板塊的A8數(shù)據(jù)中,存在同一變壓器兩邊都存在的情況,在合并后,數(shù)據(jù)進(jìn)行了合并。
-
本次數(shù)據(jù)遷移的難點
- 原來已經(jīng)遷移的營銷部分?jǐn)?shù)據(jù)在并行中存在數(shù)據(jù)不一致的情況。
- 原來的農(nóng)電部分沒有進(jìn)入SG186,只遷移農(nóng)電部分?jǐn)?shù)據(jù)將在代碼重復(fù)上難以處理。
- 營銷和農(nóng)電數(shù)據(jù)合并,在電網(wǎng)資產(chǎn)數(shù)據(jù)重復(fù)的數(shù)據(jù)進(jìn)行了合并,本次如果僅僅遷移農(nóng)電部分?jǐn)?shù)據(jù)將難以進(jìn)行資產(chǎn)對照。
1.2目的及工作要點
- 農(nóng)電營銷業(yè)務(wù)數(shù)據(jù)梳理:
- A8 3.0中完善:這類數(shù)據(jù)是由于A8 3.0業(yè)務(wù)數(shù)據(jù)的不完善造成的,系統(tǒng)提供了相應(yīng)的功能和數(shù)據(jù)位,但實際業(yè)務(wù)中沒有對該類數(shù)據(jù)進(jìn)行填寫,需要再A8 3.0中補(bǔ)充;也有部分?jǐn)?shù)據(jù)是A8 3.0控制不嚴(yán),雖然不影響A8運行,但造成無法轉(zhuǎn)換到SG186中,這部分?jǐn)?shù)據(jù)需要修改。該類數(shù)據(jù)鴻訊公司通過大量分析、大數(shù)據(jù)量搜索,已經(jīng)形成明細(xì)清單提交給各供電局。
- A8 3.0批量處理:這類數(shù)據(jù)時無法轉(zhuǎn)換的A8數(shù)據(jù),鴻訊公司通過建立臨時表、臨時字段,批量修改或添加完成。依據(jù)是原始數(shù)據(jù)和通用的業(yè)務(wù)規(guī)則。
- 數(shù)據(jù)轉(zhuǎn)換批量處理:在進(jìn)行數(shù)據(jù)轉(zhuǎn)換過程中,由東軟公司和鴻訊公司合作完成的數(shù)據(jù)轉(zhuǎn)換系統(tǒng)將對部分A8缺失而SG186中必須的數(shù)據(jù)進(jìn)行填充,填充的依據(jù)同樣是標(biāo)準(zhǔn)的業(yè)務(wù)規(guī)則。
- SG186中完善:SG186在業(yè)務(wù)規(guī)范度、數(shù)據(jù)完善程度上比A8系統(tǒng)更高,數(shù)據(jù)轉(zhuǎn)換到SG186后,仍然有大量的數(shù)據(jù)需要再SG186系統(tǒng)中逐步完善。該部分內(nèi)容由東軟公司提供。
- A83.轉(zhuǎn)SG186數(shù)據(jù)準(zhǔn)備:
- A8與 SG186數(shù)據(jù)核對:
- A8系統(tǒng)與SG186差異化咨詢:
- SG186上線過程配合:
2技術(shù)方案
2.1A8 3.0遷移分析
2.1.1A8 3.0營銷重要數(shù)據(jù)字典
<略>參加《A8 3.0營銷重要數(shù)據(jù)字典》2.1.2數(shù)據(jù)遷移問題分析
序號 | 問題分類 | 問題名稱 | 詳細(xì)描述 |
1 | 檔案 | 計量點 |
1.如果isnull(virtual_rate,0) >0 and isnull(parentid,0)>0 ,則為虛表。其他情況電費抄表卡的垃圾數(shù)據(jù)需清理,如電費類型=需量表的。 2.需表和需量表無法區(qū)分。很多vire_rate不為0,但是無父表。需要清理。 3.老系統(tǒng)選擇需量表,但是又在計費(選擇居民電價),暫時未處理 |
2 | 檔案 | 計量點 | 無計量點接線方式,計量裝置類型(一類,二類。。無類)。需要默認(rèn),并且需要和客戶溝通 |
3 | 檔案 | 計量點 |
1.變損分?jǐn)偅儞p計費標(biāo)志如何取得(計量方式,4計算不攤)。線損,農(nóng)電比較少,先默認(rèn)。 2.變壓器上 1公式計算 算損耗,要分?jǐn)偅绻脩羯系淖儞p算法不是按臺區(qū),則不計算。 3.用戶檔案中的變損算法(0不算1按臺區(qū)2按用戶),如果按臺區(qū),分?jǐn)傋儞p的時候,分?jǐn)偱_區(qū)下用戶。變損計算,線損待確認(rèn)。 |
4 | 檔案 | 計量點 | 無計量點容量,需確認(rèn)計量點容量如何遷移? |
5 | 檔案 | 計量點 |
1.無抄表方式,默認(rèn)手工抄表。 2.計量點所屬側(cè),默認(rèn),電網(wǎng)側(cè)。 |
6 | 檔案 | 計量點 | 用戶沒有選變壓器的數(shù)據(jù)需清理 |
7 | 檔案 | 用戶檔案無行業(yè)分類 |
客戶上無行業(yè)代碼,只在抄表卡上有,需要和客戶確認(rèn),客戶上的行業(yè)如何取。或者A8找一個字段清理。 目前遷移程序全部默認(rèn)為鄉(xiāng)村居民,再更新抄表卡上有其他行業(yè)的用戶。 |
8 | 檔案 | 檔案無用戶分類 | 無用戶分類,高壓,低壓居民,低壓非居民,遷移程序需要根據(jù)電壓更新高壓,根據(jù)用電分類更新居民,剩下的為低壓非居民。需要客戶確認(rèn)更新規(guī)則 |
9 | 檔案 | 檔案用電分類不準(zhǔn)確 | 客戶上的用電分類根據(jù)抄表卡比對,提取用電分類不合理用戶,進(jìn)行清理。 |
10 | 檔案 | 變電站 | 變電站等級無,遷移需要默認(rèn)為35KV |
11 | 檔案 | 線路 |
1.電壓等級按照老系統(tǒng)bm_xlda電壓等級名稱dydjmc轉(zhuǎn)換,并需要老系統(tǒng)進(jìn)行清理,保證不出現(xiàn)垃圾編碼。 2.線路所屬部門如何確定? |
12 | 檔案 | 變壓器 | 變壓器類別需清理 |
13 | 檔案 | 變壓器 | 變壓器等級 按照老系統(tǒng)bm_xlda電壓等級名稱dydjmc轉(zhuǎn)換,并需要老系統(tǒng)進(jìn)行清理,保證不出現(xiàn)垃圾編碼 |
14 | 檔案 | 電表 | 表計電壓使用用電類別的電壓,目前按照抄表卡上的計費電壓進(jìn)行轉(zhuǎn)換(bm_dydj),需要A8按照用電類別進(jìn)行清理.如果不能清理的,需要提取清單,客戶修改。 |
15 | 計量 | 電表 |
1.表計安裝日期,無。 2.表位數(shù)無,默認(rèn)5.2。 3.bar_code默認(rèn)主鍵,老系統(tǒng)好多都是空,老系統(tǒng)多數(shù)為垃圾數(shù)據(jù),默認(rèn)meter_id |
16 | 計量 | 電表 | 表號,老系統(tǒng)有重復(fù),需要清理 |
17 | 檔案 | 運行容量,合同容量 | 老系統(tǒng)無合同容量和運行容量 |
18 | 檔案 | 用戶 | 無立戶日期,客戶編碼不規(guī)則 |
19 | 檔案 | 老系統(tǒng)抄表卡行業(yè) | 需要清理不在碼表的行業(yè),或者不是子節(jié)點的行業(yè) |
20 | 檔案 | 電壓等級,容量 | 客戶電壓等級不正確,容量不正確(也要符合大一邏輯) |
21 | 檔案 | 抄表 | 臺區(qū)單雙月抄表(在hx_cbzq中bz='1'的數(shù)據(jù)是轉(zhuǎn)數(shù)據(jù)需要的抄表周期,0每月,1,單月,2雙月) |
22 | ct,pt不準(zhǔn)確 | ||
23 | 檔案 | 客戶號 |
客戶號截取后重復(fù),遷移規(guī)則前兩位代表電業(yè)局,接下來兩位代表供電所,截取原客戶編號后6位組合為新用戶編號,需要清理原用戶編號后6為重復(fù)數(shù)據(jù) select substring(yhdm,1,6) as user_id,b.code,b.mc,count(1) from df_yhda a,bm_zzjg b where a.gds_id=b.id and substring(yhdm,1,6)<> b.code group by substring(yhdm,1,6),b.code,b.mc; |
24 | 檔案 | 客戶號 |
客戶編號非數(shù)字,新系統(tǒng)要求戶號只能是數(shù)字 select TRANSLATE(cons_no, '0123456789', '1111111111'),cons_no from c_cons where TRANSLATE(cons_no, '0123456789', '1111111111')<>'1111111111'; |
25 | 檔案 | 抄表周期 | 對于同一個變壓器下有多中抄表方式,遷移方案是把原系統(tǒng)一個變壓器轉(zhuǎn)為一個抄表本,新系統(tǒng)不允許同一個抄表本下有不同的抄表周期。 |
26 | 檔案 | 轉(zhuǎn)供關(guān)系 | 轉(zhuǎn)供關(guān)系不明確 |
27 | 檔案 | 表計類型 | 虛表和需量表無法判斷 |
28 | 檔案 | 檔案清洗 | 在df_cbk中存在的運行表,在df_cbk_dl中沒有抄表的數(shù)據(jù)是費數(shù)據(jù)還是需要遷移的? |
29 | 檔案 | 檔案清洗 | 抄表數(shù)據(jù)和示數(shù)類型是否按df_cbk_dl中的上次抄表數(shù)據(jù)生成? |
30 | 檔案 | 檔案清洗 | hx_xb是如何清洗的? |
31 | 檔案 | 檔案清洗 | hx_xlb如何清洗? |
32 | 檔案 | 檔案清洗 | hx_yhdj如何處理? |
33 | 檔案 | 檔案清洗 | 客戶代碼前6位與組織結(jié)構(gòu)不一致(hx_yhdm)已清洗到源表?但仍然有含‘-’的yhdm |
2.1.3數(shù)據(jù)清理內(nèi)容分析
- 變壓器關(guān)口表有卡無變壓器:這些數(shù)據(jù)是A83.0系統(tǒng)中刪除變壓器數(shù)據(jù)后,沒有關(guān)聯(lián)刪除抄表卡造成的,需要志標(biāo)記為“注銷”,否則會在SG186中產(chǎn)生大量垃圾數(shù)據(jù)。
- 基礎(chǔ)檔案-用戶代碼重復(fù):在A8 3.0系統(tǒng)中用戶代碼不允許重復(fù),但A8系統(tǒng)為方便客戶自定義用戶代碼,在用戶代碼編碼規(guī)則上采用了前綴+序列號和手工錄入的兩種方式。在SG186進(jìn)行數(shù)據(jù)轉(zhuǎn)換時,用戶代碼將重新編號,為方便客戶查詢,用戶代碼后6位采用原來A8系統(tǒng)的編號,故A8 3.0中不允許存在同一供電所內(nèi)后6位代碼重復(fù)的情況,對這些數(shù)據(jù)需要重新編號。
- 表卡的[電表檔案]在計量庫中不存在:出現(xiàn)這種情況有兩種原因,一是臨時的表卡,沒有參與抄表,可能是錯誤數(shù)據(jù),因為沒有參與計費,操作人員沒有將其注銷,二是虛表。為避免這些數(shù)據(jù)在轉(zhuǎn)移到SG186中丟失,按照數(shù)據(jù)完整性最大化得原則,自動創(chuàng)建計量庫檔案。
- 表卡的[電表編號]為空白:這部分?jǐn)?shù)據(jù)是垃圾數(shù)據(jù),清理中需要注銷掉。
- 用戶表卡有卡無用戶檔案:這類數(shù)據(jù)是刪除用戶數(shù)據(jù)時沒有同步刪除抄表卡數(shù)據(jù)造成的,為避免數(shù)據(jù)錯誤刪除,在清理中不進(jìn)行刪除,而作注銷標(biāo)記。
- 電表檔案的[表計類別]未設(shè)置,或設(shè)置編碼不存在:這類數(shù)據(jù)應(yīng)該是沒有抄表計費的表計。
- 表卡的套表[父卡ID]編號不存在:這類數(shù)據(jù)曾經(jīng)是套表,后父表刪除后,沒有重新設(shè)置造成。
- 表卡的套表[父卡ID]編號與自身ID重復(fù):這類數(shù)據(jù)是套表設(shè)置錯誤,A8有容錯機(jī)制,故檔案未顯示錯誤。
- 表卡的[變壓器]未設(shè)置,或設(shè)置編碼不存在:這類數(shù)據(jù)是錯誤數(shù)據(jù)或者變壓器檔案已經(jīng)刪除。
- 電表檔案的[生產(chǎn)廠家]未設(shè)置,或設(shè)置編碼不存在:A8系統(tǒng)未對這類數(shù)據(jù)做限制。
- 電表檔案的[電表型號]未設(shè)置,或設(shè)置編碼不存在:A8系統(tǒng)未對這類數(shù)據(jù)做限制。
- 表卡[電表編號]被重復(fù)使用:多個抄表卡選擇了同一個電表,A8在此控制不嚴(yán)密。
- 表卡的[行業(yè)]未設(shè)置,或設(shè)置編碼不存在:業(yè)務(wù)數(shù)據(jù)不完整。
- 用戶檔案有戶無表卡:檔案不完整,可能是垃圾數(shù)據(jù)。
- 用戶檔案[用電性質(zhì)]未設(shè)置,或設(shè)置編碼不存在:檔案數(shù)據(jù)不完整,可以按照表卡電價性質(zhì)確定。
- 用戶檔案【供電所】與該用戶【所屬臺區(qū)的供電所】不一致:以臺區(qū)供電所為準(zhǔn)
- 用戶檔案的[用電性質(zhì)]不在表卡的[電價性質(zhì)]范圍內(nèi):用電性質(zhì)設(shè)置錯誤,可以按照表卡最大電價性質(zhì)設(shè)置。
- 用戶檔案[用戶名稱]為空:應(yīng)該是垃圾數(shù)據(jù)。
2.2數(shù)據(jù)梳理及配合
數(shù)據(jù)梳理是在數(shù)據(jù)遷移前的重要工作內(nèi)容,為確保數(shù)據(jù)遷移后的數(shù)據(jù)更準(zhǔn)確,由供電所人員在A8系統(tǒng)中進(jìn)行數(shù)據(jù)完善。其中梳理內(nèi)容如下。
類別 | 數(shù)量 |
用戶數(shù)量 | |
供電所數(shù)量 | |
表號重復(fù)數(shù)據(jù) | |
漢字電表表號 | |
用戶代碼長度錯誤 | |
用戶代碼中有漢字 | |
客戶代碼前綴不是單位編碼 | |
用戶檔案掛靠變壓器錯誤 | |
普通表設(shè)置虛表比例錯誤 | |
抄表卡沒有設(shè)置電價錯誤 | |
需量表檢查清單 | |
有卡無表數(shù)據(jù) | |
虛表跨戶的錯誤數(shù)據(jù) | |
線路電壓待驗證數(shù)量 | |
變壓器類別錯誤數(shù)量 | |
表計型號、類型編碼錯誤 | |
抄表卡掛靠變壓器錯誤 | |
同一變壓器抄表周期有多個 | |
有抄表卡無用戶檔案數(shù)據(jù) | |
有電費但用戶刪除的錯誤數(shù)據(jù) | |
用戶名稱未設(shè)置 | |
表計資產(chǎn)核查(表號、型號、電流、電壓、廠家、CT/PT) | |
表計型號、類型錯誤 | |
長期無電費數(shù)據(jù)用戶疑似錯 | |
抄表卡行業(yè)分類設(shè)置錯誤 | |
行業(yè)代碼不是最終節(jié)點 | |
合計 |
2.3A8數(shù)據(jù)清理
數(shù)據(jù)清理完畢后,鴻訊公司和東軟公司對數(shù)據(jù)進(jìn)行1-3次的試遷移,試遷移次數(shù)根據(jù)試遷移后,電費誤差情況確定。在試遷移前,鴻訊公司再次進(jìn)行數(shù)據(jù)的核對,并對數(shù)據(jù)進(jìn)行清理,糾正還沒有梳理到的數(shù)據(jù),以免影響數(shù)據(jù)遷移。主要內(nèi)容如下。- 表號重復(fù):批量清理,并記錄處理的清單,以便備查
- 變壓器錯亂:批量處理抄表卡變壓器與用戶變壓器不一致、找不到變壓器的情況,并記錄處理清單。
- 虛表比例錯:批量處理有虛表比例但沒有設(shè)置父表的數(shù)據(jù),設(shè)置為非虛表,記錄處理清單。
- 用戶號長度錯:批量處理+手工調(diào)整,將用戶號不等于缺省長度的全部重新生成,并記錄清單。
- 抄表卡計費電壓:根據(jù)電價電壓批量修改。記錄沒有設(shè)置電價的清單。
- 錯誤需量表:批量處理虛表的電表類型;記錄系統(tǒng)中需量表清單。
- 變壓器類別錯:批量修改變壓器類別錯誤.3改成2,檢查是否還有其他情況。
- 線路電壓等級:將未設(shè)置電壓的線路進(jìn)行批量修改為10KV,并記錄清單。
- 亂字符客戶號:對亂字符客戶號進(jìn)行批量+手工修改,并記錄清單。
- 抄表周期抄表段:根據(jù)單雙月情況對抄表器周期、抄表段數(shù)據(jù)進(jìn)行梳理,并記錄在hx_cbzq臨時表中。
- 清理垃圾數(shù)據(jù):清理A8系統(tǒng)中的垃圾數(shù)據(jù),包括抄表卡、用戶
- 行業(yè)數(shù)據(jù)清理:對錯誤行業(yè)數(shù)據(jù)進(jìn)行批量處理,并給出可能錯誤的客戶清單。
- 互感器數(shù)據(jù)清理:由于SG186中,必須要互感器信息,故只有在A8中先行虛擬,轉(zhuǎn)入SG186后再修改。
- 節(jié)余數(shù)據(jù)清理:在SG186預(yù)先不進(jìn)行節(jié)余,A8中節(jié)余的數(shù)據(jù)需要轉(zhuǎn)為預(yù)存。清理所有客戶合計節(jié)余金額。
- 其他:目前數(shù)據(jù)遷移程序還沒有完成,還會有其他數(shù)據(jù)需要清理。
- 表號重復(fù):SG186上線后制定計劃逐步清理
- 戶號問題:將鴻訊公司對戶號長度和非法字符戶號的清單在SG186中一一核對,并通告客戶。
- 需量表清理:根據(jù)鴻訊公司提供的需量表清單,一一核查是否是需量表,并在A8中修改。
- 線路電壓等級:根據(jù)鴻訊公司提供的線路電壓等級清單,一一核對,并在A8中修改。
- 抄表周期清理:根據(jù)鴻訊公司提供的多抄表周期臺區(qū)數(shù)據(jù),在A8中進(jìn)行一一核對,修正可能的錯誤。
- 行業(yè)數(shù)據(jù)清理:根據(jù)鴻訊公司提供的清單,在A8中一一核對行業(yè)數(shù)據(jù)可能錯誤的客戶檔案,并修改。
- 垃圾數(shù)據(jù)清理:根據(jù)鴻訊公司提供的清單,在A8中一一核對,確認(rèn)是否垃圾數(shù)據(jù)。
- 錯誤電價清理:根據(jù)鴻訊公司提供的清單,在A8中一一核對,確認(rèn)電價是否錯誤或是垃圾數(shù)據(jù)。
- 重復(fù)變壓器代碼:根據(jù)鴻訊公司提供的清單,在A8中意義核對,將重復(fù)的變壓器代碼修改成唯一的。
- 互感器信息清理:對倍率>1的客戶信息,在SG186中對互感器信息進(jìn)行修正。
鴻訊公司對數(shù)據(jù)清理的項目將匯總提交給給電力公司,表格如下:
項目 | 批量清理內(nèi)容 | 數(shù)量 |
1 | 方便數(shù)據(jù)轉(zhuǎn)換虛擬表計 | |
2 | 方便數(shù)據(jù)遷移批量修改null值用戶注銷標(biāo)記=0 | |
3 | 方便數(shù)據(jù)遷移批量修改null值抄表周期 | |
4 | 方便數(shù)據(jù)遷移批量修改null值供電電壓=220v | |
5 | 方便數(shù)據(jù)遷移批量修改null值抄表卡運行狀態(tài)=1 | |
6 | 對重復(fù)表號虛擬唯一表號 | |
7 | 對漢字表號重新虛擬新表號 | |
8 | 對戶號長度錯和有漢字戶號進(jìn)行批量處理 | |
9 | 批量修改抄表卡掛靠變壓器錯誤 | |
10 | 批量修改掛靠變壓器錯誤用戶為注銷 | |
11 | 虛表比例>0但沒有父表的批量設(shè)置虛表比例=0 | |
12 | 批量設(shè)置抄表卡計費電壓為電價電壓 | |
13 | 批量設(shè)置未設(shè)置電價電表為注銷 | |
14 | 批量修改虛表錯誤選擇了需量表的數(shù)據(jù) | |
15 | 批量修改不算基本電費的需量表為普通表 | |
16 | 對有卡無表的數(shù)據(jù)進(jìn)行模擬表計信息 | |
17 | 批量設(shè)置線路電業(yè)等級null=10KV | |
18 | 批量修改變壓器類別錯誤 | |
19 | 批量修改表計型號設(shè)置錯誤 | |
20 | 批量修改表計類型設(shè)置錯誤 | |
21 | 為數(shù)據(jù)遷移準(zhǔn)備每個用戶的抄表段數(shù)據(jù) | |
22 | 刪除無法對應(yīng)用戶、變壓器、線路的表卡 | |
23 | 批量設(shè)置行業(yè)分類錯和null=9920 | |
24 | 批量設(shè)置虛表無功電表類型=普通表 | |
25 | 為數(shù)據(jù)遷移準(zhǔn)備用戶余額數(shù)據(jù) | |
26 | 虛擬互感器檔案 | |
27 | 為數(shù)據(jù)遷移設(shè)置表計所屬單位 | |
28 | 批量修改歷史電費中用戶代碼不一致的數(shù)據(jù) |
3實施方案
3.1工作進(jìn)度
3.2A8 3.0工作進(jìn)度表
下表時間按照省公司及電力公司具體的安排為準(zhǔn),表中數(shù)據(jù)假設(shè)工作是連續(xù)順利開展。下表中,主要需要完成4、5、6、7項。
3.3工作流程
四川鴻訊.供電營銷服務(wù)中心
聯(lián)系人:付強(qiáng) 岳天龍 聯(lián)系電話:聯(lián)系電話:028-85122018
聯(lián)系人:付強(qiáng) 岳天龍 聯(lián)系電話:聯(lián)系電話:028-85122018