열여섯/열일곱번째 독서 - 다산

올해 세번째 소설... 다산 정약용
김훈님의 "흑산"을 읽고 난후 다산을 읽어야겠다는 마음에 든책...

정말 어렵고 힘들때  마음을 다하고, 더 예를 갖추어 더 정진하는 삶.

오른손이 마비가 되어 붓을 손에 묶어 팔이 빠지도록 집필하는 그의 집요함...

공부를 해야겠다...

RAC ORA-29702 Error TroubleShooting

* RAC ORA-29702 Error 처리

1. 고객사 환경

 - Sun Solaris 10, Sun Cluster, 10g RAC, raw-device 사용

2. Error

 - BackBone 교체작업후 2번 Node가 Down(Shutdown Abort) 되어 있어 DB를

   Startup하면 ORA-29702 Error 발생 !!

 - 1번 Node에 모든 서비스가 붙어 CPU 100%, oracle 유저에서

   sqlplus 접속이 불가한 상황 (top & ps로 oracle process 확인)

 - ORA-29702 Error는 Cluster 환경이 아닌상황에서 두번째 Node가

   RAC 환경으로 Startup 할때발생하므로 OS Cluster 문제로 판단.

 - 서비스 중요도 및 고객사 담당의 환경 및 Skill을 판단하여 log 분석 및

   원인파악보다는 DB Restart가 필요한 상황

3. 해결방안

 - 1번 Node Oracle Process Kill & Clear , CRS shutdown

 - 2번 Node를 정상적으로 Startup 시킨후 1번 Node Oracle을 정상적으로

   Shutdown/Startup 하기로 함

 - 2번 Node가 Shutdown Abort상황이고, 1번 Node도 Oracle 유저가 접근이

    되지않아 Shutdown Abort상황에 DB Crash우려됨

 - Sun Cluster가 정상적으로 Active가 되면 Oracle이 정상적으로 Open 될 것으로

   판단/고객 설득함

4. PBT 절차

 - Sun Cluster 환경이므로 scstat -i 로 Cluster Member, Group 등 서비스 확인 

 - OS Engineer Call 요청하여 Sun Cluster를 정상서비스

 - 1번 Node 

    crsctl stop crs

    여전히 oracle process가 CPU 100% 점유, sqlplus로 접속불가

     ipcs 확인시 4개의 Resource 확인 (m 1개, s 3개)

     ipcrm -m <PID> , ipcrm -s <PID>로 Resource Kill

 - 2번 Node

    2번 Node CRS Start !! (crsctl start crs)

    2번 Node DB & Listener Start !!

 - 1번 Node 

    ipcs 및 ps 로 Oracle Process 확인 <-= 없음 !!

    1번 Node CRS Start !! (crsctl start crs)

    1번 Node DB & Listener Start !!

 - B/B 작업을 여러번 하는 도중 Cluster Server간 N/W Cable이 순간적으로

   절체되어 Cluster Service에 문제가 있었던 것으로 판단.

열다섯번째 독서 - 질풍론도

열다섯번째 독서... 히가시노 게이고...

"나미야잡화점의 기적"을 너무 재미있고, 감명깊게 보아서 고른책인데 블록버스터의 두번째 영화같이 기대한만큼 실망이 있는 책...

올해의 두번째 소설...

ORA-10567, ORA-01194 DB복구

1. Case
 - 운영 DB의 Backup ==> 신규 서버로 Restore/Recovery

2. ORA-010567 Error 발생
...
ORA-00283: recovery session canceled due to errors
ORA-00600: internal error code, arguments: [3020], [4263064082], [1], [445534], [1024879], [468], [], []
ORA-10567: Redo is inconsistent with data block (file# 1016, block# 1651218)
ORA-10564: tablespace TS_DATA_10M
ORA-01110: data file 1016: '/com_stg41/oradata/ts_data_10m_94.dbf'
ORA-10560: block type 'FIRST LEVEL BITMAP BLOCK'
Recovery interrupted.
Recovered data files restored to a consistent state at change 13156165013519
...

2-1. Recovery 하기
SQL> recover database allow 1 corruption;
SQL> recover database allow 1 corruption;
We need to repeat this command until the recovery completes.
SQL> recover database allow 1 corruption;
Starting recover at 03-OCT-12
using channel ORA_DISK_1
starting media recovery
media recovery complete, elapsed time: 00:00:02
Finished recover at 03-OCT-12

3. ORA-01194 Error 발생
SQL> recover database using backup controlfile until cancel;
ORA-00279: change 1687171004 generated at 01/07/2010 10:58:26 needed for thread
1
Media Recovery Log /MALLDB_arch/ARCH/arch_1_445534.arc
ORA-00280: change 1687171004 for thread 1 is in sequence #445534


Specify log: {<RET>=suggested | filename | AUTO | CANCEL}
CANCEL
ORA-01547: warning: RECOVER succeeded but OPEN RESETLOGS would get error below
ORA-01194: file 430 needs more recovery to be consistent
ORA-01110: data file 1: '/com_stage55/oradata/ts_wrk_430.dbf'

3-1. Recovery 하기
SQL> shutdown immediate

# init<SID>.ora
_allow_resetlog_corruption=true

SQL> startup mount
SQL> recover database using backup controlfile until cancel;
         cancel
SQL> alter database open resetlogs;

 -- raw-device Redolog Size 부족 :: smitty lvm 에서 Size 증가

 -- Temp raw-device 추가 !!

열네번째 독서 - 흑산

급한 제주출장에 뽑아든 김훈선생님의 책... 흑산
말과 구전으로만 듣던 천주교 박해의 시대상과 생생한 현장감,
당시의 눈물겨웠던 우리내 선조들의 삶이 애틋하게 다가온다.

그때에 비하면 지금은 정말 천양지차, 오히려 많아서 너무 풍부해서 사람에 대한 정, 믿음에 대한 정직이 너무 부족하고, 매일 세상속으로 타락해져가는 마음이, 몸이 하루하루 무디어져가고 있는 즈음에
만난 책이라... 더 새롭다.

가끔은 아주 가끔은 이 책내용속의 믿음의 선조를 생각해봐야겠다.

열두번째/세번째 독서 - 역사e-2, 지식e-3

열한번째 독서 - 지식e 2

Crazy Horse ... 미국에 저항한 최후의 인디언 추장
가슴으로 읽은... 전태열
짠한 가슴, 위대한 감동... 이봉주
911 테러의 허와 실...
한방울 눈물의 가치...
호탕한 웃음의 위대함...
악독한 질병.... 치매

5분... 짧은 글이지만 폐부를 찌르는 핵심과 지식을...