【資料名稱】：話務統(tǒng)計數(shù)據(jù)不入庫問題原因分析

【資料作者】：al

【資料日期】：2009

【資料語言】：中文

【資料格式】：DOC

【資料目錄和簡介】：

話務統(tǒng)計數(shù)據(jù)不入庫問題原因分析
1. 問題描述
OSS服務器1從6月5日開始數(shù)據(jù)不能正常入庫，部分數(shù)據(jù)不能入庫，到6月7日凌晨4：00，所有統(tǒng)計數(shù)據(jù)停止入庫。
2. 問題分析
? 檢查SYBASE數(shù)據(jù)庫ERROR LOG發(fā)現(xiàn)自2009年6月5日凌晨2：00開始至2009年6月8日早上9：00系統(tǒng)一直在報告如下錯誤：
00:00000:00012:2009/06/05 02:10:04.44 serverError: 1601, Severity: 17, State: 3 0:00000:00012:2009/06/05 02:10:04.44 serverThere are not enough 'user connections' available to start a new process. Retry when there are fewer active users, or ask your System Administrator to reconfigure ASE with more user connections.
00:00000:00145:2009/06/05 02:10:04.54 serverError: 1601, Severity: 17, State: 7 0:00000:00145:2009/06/05 02:10:04.54 serverThere are not enough 'user connections' available to start a new process. Retry when there are fewer active users, or ask your System Administrator to reconfigure ASE with more user connections.
該錯誤的含義為SYBASE服務器所配置的用戶連接被占用完畢，若有新的進程或應用需要連接SYBASE數(shù)據(jù)庫，服務器將無法建立連接。
? 檢查數(shù)據(jù)入庫進程的LOG發(fā)現(xiàn)在上述SYBASE ERROR期間有如下ERROR：
CT-LIBRARY error:
ct_connect(): network packet layer: internal net library error: Net-Library operation terminated due to disconnect
該錯誤的含義為連接數(shù)據(jù)庫失敗。
? 檢查數(shù)據(jù)入庫的相關(guān)進程，發(fā)現(xiàn)某些進程吊死，數(shù)據(jù)入庫不正常。
3. 問題結(jié)論
根據(jù)上述日志的分析，可以看出，SYBASE數(shù)據(jù)庫的連接被突然大量占用，導致連接資源沒有空閑，從而引起數(shù)據(jù)入庫進程無法建立與數(shù)據(jù)庫的連接，而吊死。最終造成數(shù)據(jù)停止入庫。
4. 解決方法
在解決該問題時，SYBASE數(shù)據(jù)庫連接的錯誤已消失，將吊死的數(shù)據(jù)入庫進程殺掉后重啟sdm應用后系統(tǒng)恢復。
#ps –ef|grep sdm
#kill -9 xxxx(xxxx為進程號)
#smtool coldrestart sdm
5. 解決該問題是發(fā)現(xiàn)的系統(tǒng)不正常情況
登錄到SYBASE數(shù)據(jù)庫中檢查發(fā)現(xiàn)如下現(xiàn)象：
? SYABSE中有很多非本系統(tǒng)使用的程序或進程連接到數(shù)據(jù)庫操作話務統(tǒng)計數(shù)據(jù)庫（csddb）,登錄所用帳號sa。相關(guān)程序情況如下：
1> sp_who sa
2> go
fid spid statusloginame origname hostnameblk_spid dbname tempdbname cmdblock_xloid
--- ---- ---------- -------- -------- --------- -------- ------ ---------- ---------------- -----------
028 recv sleep sa sa NULL 0 csddbtempdb_saAWAITING COMMAND0
084 recv sleep sa sa NULL 0 csddbtempdb_saAWAITING COMMAND0
092 recv sleep sa sa NULL 0 csddbtempdb_saAWAITING COMMAND0
0107 recv sleep sa sa NULL 0 csddbtempdb_saAWAITING COMMAND0
0109 recv sleep sa sa NULL 0 csddbtempdb_saAWAITING COMMAND0
0118 recv sleep sa sa NULL 0 csddbtempdb_saAWAITING COMMAND0
0144 recv sleep sa sa NULL 0 csddbtempdb_saAWAITING COMMAND0
0150 recv sleep sa sa NULL 0 csddbtempdb_saAWAITING COMMAND0
0195 recv sleep sa sa NULL 0 csddbtempdb_saAWAITING COMMAND0
0274 recv sleep sa sa NULL 0 csddbtempdb_saAWAITING COMMAND0
0285 recv sleep sa sa NULL 0 csddbtempdb_saAWAITING COMMAND0
0299 recv sleep sa sa NULL 0 csddbtempdb_saAWAITING COMMAND0
0312 recv sleep sa sa NULL 0 csddbtempdb_saAWAITING COMMAND0
0351 recv sleep sa sa NULL 0 csddbtempdb_saAWAITING COMMAND0
0454 recv sleep sa sa NULL 0 csddbtempdb_saAWAITING COMMAND0
0530 recv sleep sa sa NULL 0 csddbtempdb_saAWAITING COMMAND0
(16 rows affected)
(return status = 0)
? 這些進程有時會吊死數(shù)據(jù)庫的某些資源，如sp_lock命令顯示的情況，造成數(shù)據(jù)庫異常。手動殺死這些進程后，會自動重新建立一個到數(shù)據(jù)庫的連接。
1> sp_lock
2> go
fid spidloidlocktypetable_id pagerow dbname classcontex
t
------ ------ ----------- ---------------------------- ----------- ----------- ------ --------------- ------------------------------ ------
----------------------
084168 Sh_intent 56419402900 csddbCursor Id 5505027

0 107214 Sh_intent 56419402900 csddbCursor Id 7012365

0 109218 Sh_intent 56419402900 csddbCursor Id 7143426

0 119238 Sh_intent 92452729600 master Non Cursor Lock

0 285570 Sh_intent 56419402900 csddbCursor Id 18677762

0 351702 Sh_intent 56419402900 csddbCursor Id 23003137

(6 rows affected)
(return status = 0)
? 檢查這些程序的相關(guān)信息，發(fā)現(xiàn)這些吊死進程都來自主機10.217.82.87
1> select * from sysprocesses where spid in (84,107,109,285,351)
2> go
spidkpid loggedindatetimeipaddr
---------------------------------------------------------------- ------
84515506620Jun 8 2009 5:55PM 10.217.82.87107469959005Jun 8 2009 5:35PM 10.217.82.87109516030498Jun 8 2009 5:56PM 10.217.82.87285516096189Jun 8 2009 5:56PM 10.217.82.87351516882659Jun 8 2009 5:57PM10.217.82.87
(5 rows affected)
? 這些非系統(tǒng)自身的程序?qū)ο到y(tǒng)的安全存在危險，因當前系統(tǒng)的各種配置是按Ericsson服務器所要支持的應用和程序來定義的，這些外來程序會占用系統(tǒng)資源，從而影響服務器本身進程對系統(tǒng)資源的使用，同時，在這些程序運行異常時，服務器本身無法對其進行管理和修復，當出現(xiàn)沖突時，必會影響系統(tǒng)的正常工作。

[ 本帖最后由 laomaoyixin 于 2011-5-18 14:26 編輯 ]