오픈비 : 삽질은없다

만화영화 주제가 주제에 은근히 나를 두근거리게 만드는 노래

http://gevent.gomtv.com/16mm/2007/0917/rushhour3_03.swf

데이터베이스 백업과 복구전략 (1) - 오라클의 데이터베이스 백업

엔코아 컨설팅 한 준 희

"복구에 실패한 DBA는 용서받을 수 있어도, 백업에 실패한 DBA는 용서받을 수 없다"

데이터베이스 백업과 복구전략 (1) - 오라클의 데이터베이스 백업

엔코아 컨설팅 한 준 희

"복구에 실패한 DBA는 용서받을 수 있어도, 백업에 실패한 DBA는 용서받을 수 없다"

이 길을 들어서서 제일 먼저 사수에게 들었던 전설과 같다는 말이다.
아무리 시스템의 성능이 고도화되고, 성능개선을 위해 숱한 시간을 허비했어도, 다음날 출근했을 때 어제의 작업, 심지어 그동안의 모든 작업이 허사가 되도록 시스템이 주저앉아버린다면 아무런 소용도 없게 된다.
본 문서는 ORACLE사의 RDBMS를 사용하는 사용자 및 운영자들이 적절한 수준에서 백업전략을 수립하고, 이에 맞는 복구전략을 숙지할 수 있도록 가이드를 하는 목적으로 작성하게 되었다.
본 장은 일반적인 데이터베이스 백업전략에 대해 정리해 보았다.

1. DATABASE-데이터베이스 백업

1.1 백업의 개요 및 목적

데 이터베이스 백업이라 함은 기간시스템의 장애가 발생할 경우 이를 복구하기 위한 “보험”과 같은 개념이다. 관계형 데이터베이스를 사용하는데 있어서 가장 큰 장점중의 하나는 데이터베이스의 이상 발생시 언제든지 데이터베이스 RECOVERY를 수행하여 현재의 상황으로 복구할 수 있다는 점이다. 이러한 복구가 가능하기 위해서는 데이터베이스 관리자는 복구가 가능한 상태로 데이터베이스를 운용하여야 한다. 예를 들어 사용자가 NO ARCHIVE MODE로 운용할 경우에는 불행히도 데이터베이스를 처음 생성한 시점이나 전체 백업 받은 시점으로만이 복구가 가능하기 때문이다.
일반적인 경우 백업 정책이 없이 무작정 과다한 양의 백업을 받을 경우 일정 기간이 경과하면 백업에 대한 의미가 희미해지게 되고 정상적인 작업을 수행하지 않을 때, 백업파일이 꼭 필요한 경우 작업을 할 수 없는 경우가 발생할 수도 있다.
데이터베이스 관리자는 백업에 대한 정책을 수립하여 꼭 필요한 데이터를 최소의 약으로 백업을 받고 최소의 시간을 소비- 고객의 MTTR(MEAN TIME TO RECOVERY)을 만족할 수 있는 시간-하면서도 항시 복구가 가능한 상태를 유지하여야 한다.

1.2 주요 고려사항

데 이터베이스는 기존의 파일시스템과는 달리 전체 사용자 OBJECT를 하나의 TABLESPACE로 관리하거나 필요에 따라 나누어 사용 및 관리하므로 백업뿐 아니라 복구 시에도 상당히 주의를 요한다. 만일 ARCHIVE LOG 상태에서 운용하고 있는 상태에서 이상이 발생할 경우 복구작업에 필요한 LOG FILE중에 하나의 파일이라도 없어지거나 사용할 수 없는 경우에는 정상적인 복구가 불가능하게 된다.
이러한 불행한 경우를 방지하기 위해서 DBA는 항시 복구가 가능한 상태로 작업하기 위한 백업정책을 수립하여 정확하게 작업하여야 한다.
또한 24 X 7(1년 365일) DOWN TIME없이 운용되는 시스템의 경우 백업 정책의 수립에 COLD BACKUP과 같은 FULL IMAGE 백업이 불가능 할 수 있기에 HOT BACKUP 혹은 EXPORT를 통한 LOGICAL 백업만이 가능할 수 있다. 이런 제약사항으로 인해 혹시 발생할 수 있는 장애에 적절한 대응을 하지 못할 수 있다.
이러한 결정상황을 파악하여 백업정책 수립에 심혈을 기울여야 할 것이며 , 시스템 운용의 묘를 살려야 할 것이다.
또한 HOT BACKUP등의 ONLINE상에서 데이터베이스를 백업하기 위해서는 반드시 ARCHIVE MODE로 운영되어야 한다.

1.3 백업 전략

DBA 가 어떠한 방법으로 백업을 유지하느냐에 따라 복구 성공률이나 복구 속도 등이 결정된다 물론 매일 작업 종료 후 전체 데이터베이스에 대하여 FULL BACKUP을 한다면 가장 안전한 백업이라고 볼 수 있으나 실질적으로 백업을 받는데 많은 시간을 요구하므로 현실적으로는 불가능한 작업이라 볼 수 있다.

예 : XXX시스템의 특징은 24시간 365일 무중단 운영을 원칙으로 하고 있고, 타 시스템과의 INTERFACE 대상의 DATA LOAD가 야간에 대량으로 발생하며, 정산 및 온라인 통계작업을 통한 대량의 TRANSACTION이 발생한다.이는 다시 말해 COLD BACKUP을 위한 시스템 중단이 사실상 불가능하다는 말과 같다.

이런 시스템의 특성을 반영한 백업시스템 정책은 현실적으로 적용 가능한 HOT BACKUP을 업무가 집중하지 않는 시간에 수행하는 것으로 정하여야 하며, 단위 업무별로 대량의 변화가 발생할 경우에 데이터의 수정 혹은 삭제, 변화가 발생하기 전에 각 단위 팀의 별도 APPLICATION을 통해 데이터 BACKUP을 수행하는 것으로 한다.

가. 업무수행에 지장을 받지 않는 시간대에 HOT BACKUP을 수행한다.
나. 업무변화가 대량으로 발생하기 전에 APPLICATION을 통한 BACKUP수행
다. 자주 read-write되는 tablespace는 자주 online backup을 수행.
라. 데이터베이스에 구조적인 변화가 생기기 前,後로 full backup을 수행.
마. 이전의 backup본을 최소한 2본 이상 가지고 있을 필요가 있다.
바. 특정 테이블들에 대한 data의 입력 오류로 인해 과거 특정 시점으로의 회귀가 필요하거나, 특정 테이블 데이터의 분실로 인해 다시 복귀를 하고자 할 경우를 대비하여 Logical Backup인 Export를 수시로 받아놓도록 한다.
사. Unrecoverable로 Creation된 Object는 redo log file에 logging되지 않기에 이러한 Object들에 대해서는 Export Utility를 사용하여 Backup하도록 하는 것이 좋으며, 초기 생성 후 정상적인 데이터 입력/수정이 이루어질 경우에는 logging으로 변경하도록 한다.

1.4 백업 방법

1.4.1 Physical Backup

물 리적인 데이터베이스 파일을 한 위치에서 다른 위치로 COPY하는 물리적인 복제를 Physical Backup이라 한다. 또한 Physical Backup은 Offline, Online Backup(Without Archiving / With Archiving)으로 나눌 수 있다. 즉 데이터베이스 상태가 Down인 상황에서 Backup을 수행하면 Offline Backup이며 이 백업은 Archive Log파일의 Backup은 불필요하나, 데이터베이스가 Online인 상황에서 Backup을 수행하는 Online Backup인 경우에는 Backup도중에도 Transaction이 발생할 수 있고, 이 기간 중에 발생한 데이터의 보존을 위해 Archive Log를 반드시 백업하고 있어야 한다.

1.4.1.1 Cold Backup (Offline Backup)

데이터베이스를 Shutdown 한 이후 아래와 같은 파일들을 백업 Library로 COPY하여야 한다.

가. DataFiles (V$datafile확인자료)
나. Redo Log Files (V$logfile확인자료)
다. Control Files (V$controlfile확인자료)
라. Parameter Files(initSID.ora, spfileSID, configSID.ora, etc)

1.4.1.2 HOT Backup(Online Backup)

데이터베이스가 구동중인 상태에서 datafile을 복사하는 방식으로 Archive Log Mode로 운영되어야 한다.

SQL> ALTER TABLESPACE …… BEGIN BACKUP;
$ *.DBF의 COPY수행
SQL> ALTER TABLESPACE ….. END BACKUP;

이 런 명령을 수행하는 기간 동안에는 해당 TABLESPACE가 HOTBACKUP MODE로 운영중이어서 해당 TABLESPACE안에 있는 TABLE에 대한 DML이 발생할 경우 DATAFILE WRITE가 불가능하기 때문에 REDO LOG에만 기록하는 기록하게 되고, 백업이 완료된 시점에서 LOG에 저장된 변경사항을 다시 Data file에 기록하기 위해 적지 않은 부하가 발생할 수 있다. 그러므로 ONLINE HOT BACKUP을 수행하는 시간은 작업량이 적고, 사용자의 접근을 최소화 할 수 있는 시간을 선정하여야 하며, 최소한의 시간에 HOT BACKUP을 수행할 수 있어야 한다.

또한 BACKUP의 시작과 끝에는 HOT BACKUP의 시작 바로 전까지 발생한 TRANSACTION의 REDO LOG를 CHANGE하도록 하여 ARCHIVING하도록 한다.또한 BACKUP이 종료한 후에도 LOG CHANGE를 하도록 하여 BACKUP중에 발생한 DATA에 대한 REDO LOG 내 변경분을 DATAFILE에 기록 및 ARCHIVING을 통한 ARCHIVE FILE BACKUP을 동시에 수행할 수 있도록 하여야 한다.

SQL> ALTER SYSTEM ARCHIVE LOG CURRENTS;

1.4.2 Logical Backup

Export Utility를 이용한 데이터 백업은 보통 DML 발생빈도가 높아 데이터블록의 활용도나 Capacity를 높이지 못할 경우 데이터블록을 최적화하기 위해 사용할 수 있고, 사용자의 실수 혹은 구조상의 문제로 인해 데이터의 손실을 최소화하기 위해 데이터의 보존을 목적으로 사용하는 방법이다.

Export Utility를 이용한 데이터 백업방법은 Full, User, Table단위의 Export Mode가 있다.

1.4.3 Archive Log File의 Backup

1.4.3.1 Archive Log Mode 구조

오라클에서 Online Backup을 받거나 완벽한 복구작업을 수행하기 위해서는 데이터베이스를 “Archive Log Mode”로 운영하여야 한다.
오라클의 log File기록방법은 “순환”기록방법을 채택하고 있다. 첫 번째 log File을 기입하고 나면 두 번째 것을 기입하고, 그것이 끝나면 세 번째 log를 기록한다. 그리고 마지막 Online Redo Log File을 쓰고 나면 Log Writer(LGWR)가 첫번째 Log File을 다시 선택하여 덮어쓰기 시작한다.
Oracle Archive Log Mode에서 작동하고 있을 때에는 Archive Background Process(ARCH)는 각각의 Redo Log File을 덮어쓰기 전에 그에 대한 복사본을 지정된 디렉토리에 만들게 된다.


[그림 1 No Archive Log Mode]

CheckPoint가 발생할 때 까지는 Redo Log File은 재사용되지 않으며 ARCH에 의해 물리적으로 Redo Log File은 다시 backup된다.


[그림 2 Archive Log Mode]

1.4.3.2 Archive Mode와 No-Archive Mode의 비교

위 그림에서 보는 바와 같이 Redo Log가 덮어 쓰이기 시작하고 Archive Mode가 아니면 Media Recovery는 마지막으로 Full Backup받은 시점으로 밖에 복구가 불가능 하다. 반면에 Archive Mode로 운영되는 데이터베이스는 가장 나중의 변화까지도 복구가 가능하다. Archive Log Mode로 운영 시 log_archive_dest Directory밑에 Archive File이 계속 발생하여 할당된 Space가 부족할 경우 log Change가 발생하지 않아 데이터베이스가 Hang-Up이 될 수 있으므로 Space관리를 유의하여야 한다.

1.4.3.3 Archive Log의 백업

데이터베이스 백업주기 결정시 archive log의 backup주기도 결정되어야 한다.
Archive log는 O/S Backup 을 통해 보관하고, Archive Log가 너무 많이 발생하지 않도록 Archive Log의 Size 즉 Redo Log의 사이즈를 적절히 조절하여야 복구를 위한 필요시간을 줄일 수 있다.
Archive Log는 데이터베이스 백업수행과는 별도로 Space의 여유분을 Check하여 일정수치 이상 Free Space가 부족할 경우 자동적으로 Copy한 다음 삭제하도록 스케쥴링하여야 한다.

1.5 백업 주기

1.5.1 백업주기의 결정

백업의 주기 및 백업 시기, 시간은 어떠한 백업방법을 적용할 것인가와 어느 정도의 Down Time을 허용할 것인가에 따라 결정된다.
즉 Hot Backup만을 허용하는 사이트에는 Transaction양이 최소화되는 시간을 선택하여 백업을 수행할 것이고, 시스템을 사용할 수 없는 최대한의 시간을 1~3시간으로 선정었다면 복구를 위해 주어진 시간이 1~3시간으로 판단되어 이에 맞는 백업주기가 결정되게 된다.

전체 시스템을 모두 Backup하는데 걸리는 시간을 산정하여야 한다. 예를 들어 전체 시스템을 Hot Backup하는데 걸리는 시간이 최대 3시간이 걸린다 할 경우 이를 3일 주기로 전체시스템을 백업할 수 있도록 나눈다면 하루에 백업에 소요되는 시간은 대략 1시간이 될 것이다.
그런데 3일 주기로 백업의 한 사이클이 종료되는 관계로 월요일에 백업한 테이블스페이스에 속한 데이터파일에 문제가 생긴 시기가 수요일 오후라면 약 이틀간 발생한 Archive Log를 이용하여 복구를 하여야 하는데 DataFile, Archive Log Restore 및 복구를 마치는데 주어진 Down Time안에 해결할 수 있는지 판단하여야 한다.
일반적으로 백업의 주기는 1년,1분기,1월,1일에 두고 주기 및 방법을 정한다. 또한 백업의 주기 뿐 아니라 백업한 Media의 보관 주기 또한 백업 및 복구에 큰 영향을 미치는 요소이다.

1.5.2 백업 주기 별 대상 결정

백업의 주기(일단위,주단위,월단위,분기단위,년단위,기타)별로 백업 대상을 선정하여 백업 매체를 선정하고, 백업대상을 LIST-UP한 다음 백업하도록 한다.

1.5.2.1 백업 주기

요일 대상	월	화	수	목	금	토	일
백업 대상	A	B	C	D	E	F	ALL TBS
백업사이즈	354G	296G	338G	354G	296G	338G	998G

다음장에서는 이런 백업전략하에서 발생할 수 있는 다양한 케이스의 장애에 대한 복구전략에 대해 정리하도록 하겠다.

마이클잭슨이 부르는 땡뻘..

이제는 UCC동영상 제작법도 익혀야 한다는 생각이 드네요.

운영체제의 선점형과 비선점형을 아주 간단하게 말하자면

특정 프로세스가 CPU 를 독점하는것이 불가능(운영체제가 강제로 프로세스의 CPU 점유를 제어)하면 선점형
특정 프로세스가 CPU 를 독점하는것이 가능(프로세스가 스스로 CPU 점유를 포기해야만 다른 프로세스가 실행)하면 비선점형,

커널이 짱이냐, 프로세스가 깡패냐로 이해가능 합니다.
선점형은 사전적 의미처럼 프로세스에게 뭘시켜도 커널이 내꺼야 라고 프로세스로 부터 권한을뺏어올수 있습니다.
비선점형은 프로세스가 '걍 배째' 라고 이야기 하면 그냥 그런것. 한마디로 프로세스가 깡패인 상황.

운영체제 책 'Operating Systems : Internals and Design Principles (Fifth Edition), William Stallings 저'를 참고해보면
이것을 스케쥴링 정책의 decision mode라고 부르고있고 정확히 Nonpreemptive(비선점)과 Preemptive(선점)라는 용어를 사용하고 있습니다
.
대표적인 비선점형 스케쥴링 방식으로는 FCFS(First-Come-First-Served)가 있고, 선점형 스케쥴링 방식으로는 Round-Robin이 있습니다.

리눅스 커널은 선점형 멀티태스킹을 하고, 2.4 이하는 비선점형 커널, 2.6은 선점형 커널과 비선점형 커널을 선택할 수 있습니다.

MS윈도우즈3.1은 비선점형 멀티태스킹을 합니다.
한 어플리케이션이 시스템콜 호출, 입출력 사용 등의 방법으로 CPU를 운영체제에 넘겨주지 않으면 혼자서 프로세서를 독점합니다.

사진출처-디씨 종교갤러리

"할로윈 문서"
http://en.wikipedia.org/wiki/Halloween_documents 

이미 8년 전의 일입니다.
MS사의 고위 간부가 리눅스의 성장에 대하여 사태를 분석하고, MS의 대응
전략을 연구한 보고서를 회사 내부용으로 작성하였는데, 이 문건이 1998.10.
경 외부로 유출되어 널리 알려지게 된 것입니다.
그 중 핵심적인 내용만을 요약하면 다음과 같습니다
(이하는 MS사가 스스로 내린 평가인 셈입니다):

- 공개소프트웨어(Open Source Software, OSS)가 상용SW와 같거나 더 나은 수
준으로 발전할 가능성이 확실히 있다.

- 오작동이 허용될 수 없는 사업용 환경(mission critical, commercial
environments)에서 리눅스는 실제로 써 본 많은 이들의 호평을 받으며 사용되
고 있다. 유닉스보다 성능이 더 나을 뿐 아니라, 장차 유닉스가 차지해 온 시
장을 장악하게 될 것으로 예측된다.

- 공개소프트웨어는 각종 서비스와 프로토콜이 자유롭게 이용될 수 있는 상황
이 보장된다면 다른 경쟁자를 이길 것이다.

- 공개소프트웨어는 프로토콜들이 비교적 단순하고 다용도로 사용될 수 있는
서버시장에서 분명한 입지를 확보하였다. 우리[MS사]는 기존의 프로토콜을 확
장하고, 범용성이 없는 새로운 프로토콜을 개발함으로써 공개소프트웨어의 시
장진입을 저지할 수 있다.

- 인터넷을 통하여 수천명의 개인들의 지능을 규합하는 공개소프트웨어의 특
징은 놀랄만하다.

- 저자 스스로 윈도NT에서 IE4를 가동했을 때와 리눅스 상에서 Netscape
Navigator를 가동했을 때를 비교해 본 결과, 단순한 HTML문서와 그래픽을 처
리하는 경우에 리눅스가 약 30-40% 빠른 것으로 드러났다.

- 윈도와 비교해 보았을때 리눅스의 장점은 각 이용자가 원하는대로 설정을
조정할 수 있고, 구하기 쉽고, 안정적이고, 프로그램 크기 조절이 자유롭고,
성능이 뛰어나고, 호환성이 있다는 점이다(Customization ...
Availability/Reliability ... Scaleability/Performance ...
Interoperability ...)

현대사회에서 직장인으로 살아가기 위해서 제일먼저 필요한 필요한 기술은 어떤것일까

전문용어에대한이해, 협업을위한 준비, 업무환경구축기술, 프로젝트관리기법, 기술적 글쓰기와 보고서 쓰기 등을 생각해 볼 수 있다.

기본적으로 알아야 하는 기술을 제외하고도 IT에서의 전문가가 되기위해서는 너무나 많은 스킬이 필요한것이 현실이다. 아래의 내용은 소프트웨어 전문가가 되기위한 중요한 지식들이다.


What Knowledge Is Important to a Software Professinal?
Lethbridge,Timothy C., IEEE Computer, May 2000

학교에서 가르쳐 주지 않았지만 실전에서 중요한 것
소프트웨어 디자인과 패턴
소프트웨어 아키텍처
요구사항 수집 및 분석
HCI(Human Computer Interaction) 및 유저 인터페이스
분석 및 디자인 방법
프로젝트 관리
테스팅, 검증 및 QA(Quality Assurance)
형상 및 릴리즈 관리

현업에서 중요한 것 중 자신의 지식이 부족한 것
직업윤리와 프로페셔널리즘
청중에게 프레젠테이션하는 것
기술적 글쓰기(Technical Writing)
리더쉽
경영

비전공자들이 전문가가 되기 위해 가장 많이 배워야 했던 것
특정 프로그래밍 언어들
자료 구조
객체 지향 기술 및 개념
알고리즘 설계
운영체제
데이터베이스
데이터 전송과 네트워크