취뽀 기록

#열심히 살자 #취업 #공부

SQL/[SQLD]

[SQLD] 1과목 요약

hyunnn_00 2023. 5. 30. 14:04

1과목

part1. 데이터 모델링의 이해


✔️ 모델링의 특징

  • 추상화 : 현실세계를 일정한 형식에 맞추어 표현
  • 단순화 : 복잡한 현실세계를 제한된 표기법이나 언어로 표현하여 쉽게 이해할 수 있도록 함
  • 명확화 : 누구나 이해하기 쉽게 하기 위해 대상에 대한 애매모호함을 제거하고 정확하게 현상을 기술하는 것

✔️ 데이터 모델링의 중요성 및 유의점

  • 중복 : 같은 시간 같은 데이터 제공
  • 비유연성 : 사소한 업무변화에 데이터 모델이 수시로 변경되면 안됨
  • 비일관성 : 신용 상태에 대한 갱신 없이 고객의 납부 이력 정보 갱신 안됨

✔️ 데이터 모델링

  • 개념적 모델링
    • 추상화 수준이 높다.
    • 업무중심적
    • 포괄적인 수준의 모델링 진행
    • 전사적 데이터 모델링
    • EA 수립 시 많이 이용
  • 논리적 모델링
    • 시스템으로 구축하고자 하는 업무에 대해 key, 속성, 관계 등을 정확하게 표현
    • 재사용성이 높음
  • 물리적 모델링
    • 실제로 데이터베이스에 이식할 수 있도록 성능, 저장 등 물리적인 성격을 고려하여 설계

※ 개념적 → 논리적 → 물리적으로 갈수록 구체적

✔️ 데이터 독립성 요소

  • 외부 스키마 : 사용자가 보는 개인적 DB 스키마
  • 개념 스키마 : 모든 사용자 관점을 통합한 전체 DB
  • 내부 스키마 : 물리적 장치에서 데이터가 실제적 저장

✔️ 데이터 독립성

  • 논리적 독립성 : 개념 스키마가 변경되어도 외부 스키마에 영향 x
  • 물리적 독립성 : 내부스키마가 변경되어도 외부 / 개념 스키마 영향x

✔️ Mapping(사상)

상호 독립적인 개념을 연결시켜주는 다리

✔️ 데이터 모델링의 3요소

  • 어떤 것(Things)
  • 성격(Attributes)
  • 관계(Relationships)
  • 엔터티 : 집합 / 인스턴스 : 단수

✔️ 데이터 모델 표기법

1976년 피터첸이 ERD(Entity Relationship Model) 개발

  • 작업 순서
  1. 엔터티를 그림
  2. 엔터티를 적절하게 배치
  3. 엔터티간 관계 설정
  4. 관계명 기술
  5. 관계의 참여도 기술
  6. 관계의 필수여부 기술

✔️ 모델링의 특징

추상화, 단순화, 정확화

✔️ 좋은 데이터 모델의 요소

완전성 / 중복 배제 / 업무 규칙 / 데이터 재사용 / 의사소통 / 통합성


✔️ 엔터티

업무에 필요하고 유용한 정보를 저장하고 관리하기 위한 집합적인 것

(보이지 않는 개념 포함)

✔️ 엔터티의 특징

  1. 반드시 해당 업무에서 필요하고 관리하고자 함
  2. 유일한 식별자에 의해 식별 가능
  3. 두 개 이상의 인스턴스 집합
  4. 업무 프로세스에 의해 이용되어야 함
  5. 반드시 속성 필요(예외 : 관계엔터티)
  6. 다른 엔터티와 최소 1개 이상의 관계 필요

✔️ 엔터티의 분류

  • 유무형에 따른 분류 ⇒ 유형, 개념, 사건
  • 유형 : 물리적 형태, 안정적, 지속적 ex) 사원, 물품, 강사
  • 개념 : 개념적 정보, 물리적 형태 x ex) 조직, 보험상품
  • 사건 : 업무수행 시 발생, 통계자료 이용 ex) 주문, 청구, 미납
  • 발생시점에 따른 분류 ⇒ 기본/키, 중심, 행위
  • 기본 : 그 업무에 의해 원래 존재하는 정보, 타 엔터티의 부모 역할, 자신의 고유한 주식별자 가짐 ex) 사원, 부서
  • 중심 : 기본 엔터티로부터 발생, 다른 엔터티와의 관계로 많은 행위 엔터티 생성 ex) 계약, 사고, 주문
  • 행위 : 2개 이상의 부모엔터티로부터 발생 , 자주 바뀌거나 양이 증가 ex) 주문목록, 사원변경이력

✔️ 엔터티의 명명

  • 현업업무에서 사용하는 용어 사용
  • 약어 사용 x
  • 단수 명사 이용
  • 고유한 이름사용
  • 생성의미대로 부여

✔️ 속성

업무에서 필요로 하는 인스턴스로 관리하고자 하는 의미상 분리되지 않는 최소의 데이터 단위

  • 한 개의 엔터티는 2개 이상의 인스턴스 집합
  • 한 개의 엔터티는 2개 이상의 속성
  • 한 개의 속성은 1개의 속성값

✔️ 속성의 분류 : 기본, 설계, 파생

  • 기본 : 업무로부터 추출한 모든 일반적인 속성
  • 설계 : 업무를 규칙화하기 위해 새로 만들거나 변형, 정의하는 속성 ex) 일련번호
  • 파생 : 다른 속성애 영향을 받아 발생하는 속성, 빠른 성능을 낼 수 있도록 원래 속성의 값 계산 ex) 합

✔️ 도메인

각 속성이 가질 수 있는 값의 범위 ex) 5글자

✔️ 속성의 명명

  1. 해당업무에서 사용하는 이름 부여
  2. 서술식 속성명 사용 x
  3. 약어 사용 x
  4. 전체 데이터모델에서 유일성 확보

✔️ 관계

엔터티의 인스턴스 사이의 연관성이 부여된 상태

  • 존재에 의한 관계 ex) 소속된다
  • 행위에 의한 관계 ex) 주문한다

✔️ 페어링

엔터티 안에 인스턴스가 개별적으로 관계를 가지는 것

✔️ 관계의 표기법

  • 관계명 : 관계의 이름
  • 관계차수 : 1:1, 1:M, M:N
  • 관계선택성(관계선택사양) : 필수관계, 선택관계

✔️ 식별자

엔터티 내에서 인스턴스를 구분하는 구분자

  • 식별자는 논리 데이터 모델링 단계에 사용
  • Key는 물리 데이터 모델링 단계에 사용

✔️ 식별자의 특징 : 유일성, 최소성, 불변성, 존재성

  • 유일성 : 주식별자에 의해 모든 인스턴스들이 유일하게 구분
  • 최소성 : 주식별자를 구성하는 속섣ㅇ의 수는 유일성을 만족하는 최소의 수가 되어야 함
  • 불변성 : 지정된 주식별자의 값은 자주 변하지 않아야 함
  • 존재성 : 주식별자가 지정되면 반드시 값이 들어와야 함

✔️ 식별자 분류

  • 대표성 여부 : 주식별자, 보조식별자
  • 주식별자 : 엔터티 내에서 각 어커런스를 구분할 수 있는 구분자, 타 엔터티와 참조관계 연결 가능 보조
  • 보조식별자 : 어커런스를 구분할 수 있는 구분자이나 대표성을 가지지 못해 참조관계 연결 불가
  • 스스로 생성 여부 : 내부식별자, 외부식별자
  • 내부식별자 : 스스로 생성되는 식별자
  • 외부식별자 : 타 엔터티로부터 받아오는 식별자
  • 속성의 수 : 단일식별자, 복합식별자
  • 단일식별자 : 하나의 속성으로 구성
  • 복합식별자 : 2개 이상의 속성으로 구분
  • 대체 여부 : 본질식별자, 인조식별자
  • 본질식별자 : 업무에 의해 만들어지는 식별자
  • 인조식별자 : 인위적으로 만든 식별자

✔️ 주식별자 도출기준

  1. 해당 업무에서 자주 이용되는 속성
  2. 명칭, 내역 등과 같이 이름으로 기술되는 것은 x
  3. 복합으로 주식별자로 구성할 경우 너무 많은 속성 x

✔️ 식별자 관계

  • 주식별자 : 자식의 주식별자로 부모의 주식별자 상속
  1. 부모로 받은 식별자를 자식엔터티의 주식별자로 이용하는 경우 강한 연결관계 표현, 실선 표기
  • 비식별자 : 부모 속성을 자식의 일반 속성으로 사용
  1. 부모 없이 자식이 생성될 수 있는 경우
  2. 부모와 자식의 생명주기가 다른 경우
  3. 여러 개의 엔터티가 하나의 엔터티로 통합되어 표현되었는데 각각의 엔터티가 별도의 관계를 가진 경우
  4. 자식 엔터티에 별도의 주식별자를 생성하는 것이 더 유리한 경우
  5. SQL 문장이 길어져 복잡성 증가되는 것 방지 약한 연결관계 표현, 점선 표기

part2. 데이터 모델과 성능


✔️ 성능 데이터 모델링

DB 성능향상을 목적으로 설계단계의 데이터 모델링 때부터 정규화, 반정규화 등 여러 가지 성능과 관련된 사항이 데이터 모델링에 반영될 수 있도록 하는 것

✔️ 성능 데이터 모델링 고려사항 순서

  1. 데이터 모델링을 할 때 정규화를 정확하게 수행
  2. DB 용량산정을 수행
  3. DB에 발생되는 트랜잭션 유형 파악
  4. 용량과 트랜잭션의 유형에 따라 반정규화 수행
  5. 이력모델 조정, PK/FK 조정, 슈퍼/서브타입 조정
  6. 성능 관점에서 데이터 모델링 검증
  • 정규화는 선택이 아닌 필수 사항

✔️ 함수의 종속성

데이터들이 어떤 기준 값에 의해 종속되는 현상

✔️ 정규화

반복적인 데이터를 분리하고 각 데이터가 종속된 테이블에 적절하게 배치되도록 하는 것

→ 칼럼에 의한 반복, 중ㅂ독적인 속성 값을 갖는 형태는 1차 정규화의 대상

✔️ 반정규화

정규화된 엔터티, 속성, 관계에 대해 시스템의 성능향상과 개발과 운영의 단순화를 위해 중복, 통합, 분리 등을 수행하는 데이터 모델링의 기법

→ 일반적으로 정규화시 입력 / 수정 / 삭제의 성능이 향상되며 반정규화시 조인 성능이 향상됨

✔️ 반정규화 절차

  1. 반정규화 대상 조사(범위처리빈도수, 범위, 통계성)
  2. 다른 방법유도 검토(뷰, 클러스터링, 인덱스 조정)
  3. 반정규화 적용(테이블, 속성, 관계 반정규화)

✔️ 반정규화 대상 조사

  1. 자주 사용되는 테이블에 접근하는 프로세스의 수가 많고 항상 일정한 범위만을 조회하는 경우
  2. 테이블에 대량의 데이터가 있고 대량의 데이터 범위를 자주 처리하는 경우에 처리범위를 일정하게 줄이지 않으면 성능을 보장할 수 없는 경우
  3. 통계성 프로세스에 의해 통계 정보를 필요로 할 때 별도의 통계테이블 생성
  4. 테이블에 지나치게 많은 조인이 걸려 데이터를 조회하는 작업이 기술적으로 어려울 경우
  • SORTING, ORDER BY는 반정규화 대상 x

✔️ 다른 방법유도 검토

  1. 지나치게 많은 조인이 걸려 데이터를 조회하는 작업이 어려울경우 VIEW 사용
  2. 대량의 데이터처리나 부분처리에 의해 성능이 저하되는 경우 클러스터링을 적용하거나 인덱스 조정
  3. 대량의 데이터는 PK의 성격에 따라 부분적인 테이블로 분리 가능(파티셔닝 기법)
  4. 응용 애플리케이션에서 로직을 구사하는 방법을 변경함으로써 성능 향상

✔️ 반정규화의 기법(테이블, 칼럼, 관계)

  • 테이블 병합(1:1 관계, 1:M 관계, 슈퍼/서브타입)
  1. 1:1 관계를 통합하여 성능 향상
  2. 1:M 관계를 통합하여 성능 향상
  3. 슈퍼/서브 관계를 통합하여 성능 향상
  • 테이블 분할(수직분할, 수평분할)
  1. 수직분할 : 칼럼단위 테이블을 디스크 I/O를 분산처리 하기 위해 테이블을 1:1로 분리하여 성능 향상
  2. 수평분할 : 로우단위로 집중 발생되는 트랜잭션을 분석 하여 디스크 I/O 및 데이터 접근의 효율성을 높여 성능을 향상하기 위해 로우단위로 테이블을 쪼갬
  • 테이블 추가(중복, 통계, 이력, 부분테이블 추가)
  1. 중복 : 다른 업무이거나 서버가 다른 경우 동일한 테이블구조를 중복하여 원격조인을 제거하여 성능 향상
  2. 통계 : SUM, AVG 등을 미리 수행하여 계산해 둠으로써 조회 시 성능 향상
  3. 이력 : 이력테이블 중에서 마스터 테이블에 존재하는 레코드를 중복하여 이력테이블에 존재시켜 성능 향상
  4. 부분 : 하나의 테이블의 전체 칼럼 중 자주 이용하는 집중화된 칼럼들이 있을 때 디스크 I/O를 줄이기 위해 해당 칼럼들을 모아놓은 별도의 반정규화된 테이블을 생성
  • 칼럼 반정규화(중복, 파생, 이력, pk, 오작동)
  1. 중복 : 조인에 의해 처리할 때 성능 저하를 예방하기 위해 중복된 칼럼을 위치시킴
  2. 파생 : 트랜잭션이 처리되는 시점에 계산에 의해 발생되는 성능저하를 예방하기 위해 미리 값을 계산하여 칼럼에 보관
  3. 이력테이블 : 대량의 이력데이터를 처리할 때 불특정날 조회나 최근 값을 조회할 때 나타날 수 있는 성능저하를 예방하기 위해 이력테이블에 기능성 칼럼(최근값여부, 시작과 종료일자 등)을 추가함
  4. pk에 의한 칼럼 추가 : 이미 pk 안에 데이터가 존재하지만 성능 향상을 위해 일반속성으로 포함하는 방법
  5. 응용시스템 오작동을 위한 칼럼 추가 : 업무적으로는 의미가 없지만 사용자의 실수로 원래 값으로 복구하기 원하는 경우 이전 데이터를 임시적으로 중복하여 보관하는 방법

✔️ 관계 반정규화

  • 중복관계 추가

데이터를 처리하기 위한 여러 경로를 거쳐 조인이 가능하지만 이 때 발생할 수 있는 성능저하를 예방하기 위해 추가적인 관계를 맺는 방법


✔️ 로우 체이닝

로우의 길이가 너무 길어서 데이터 블록 하나에 데이터가 모두 저장되지 않고 두 개 이상의 볼록에 걸쳐 하나의 로우가 저장되어 있는 형태

✔️ 로우 마이그레이션

데이터 블록에서 수정이 발생하면 수정된 데이터를 해당 데이터 블록에서 저장하지 못하고 다른 블록의 빈 공간을 찾아 저장하는 방식

※ 로우 체이닝과 로우 마이그레이션이 발생하여 많은 블록에 데이터가 저장되면 DB 메모리에서 디스크 I/O가 발생할 때 많은 I/O가 발생하여 성능저하 발생

⇒ 트랜잭션을 분석하여 적절하게 1:1로 분리하여 성능향상 가능하도록 해야 함

✔️ PK에 의해 테이블을 분할하는 방법(파티셔닝)

  1. RANGE PARTITION
  2. 대상 테이블이 날짜 또는 숫자 값으로 분리가 가능하고 각 영역별로 트랜잭션이 분리되는 경우
  3. LIST PARTITION
  4. 지점, 사업소 등 핵심적인 코드값으로 PK가 구성되어 있고 대량의 데이터가 있는 테이블의 경우
  5. HASH PARTITION
  6. 지정된 HASH 조건에 따라 해시 알고리즘이 적용되어 테이블이 분리

✔️ 테이블에 대한 수평/수직분할의 절차

  1. 데이터 모델링 완성
  2. DB 용량산정
  3. 대량 데이터가 처리되는 테이블에 대해 트랜잭션 처리패턴 분석
  4. 집중화된 단위로 테이블 분리하는 것을 검토

✔️ 슈퍼/서브 타입 모델

  업무를 구성하는 데이터의 특징을 공통과 차이점의 특징을 고려하여 효과적 표현
  • 공통의 부분을 슈퍼타입으로, 공통으로부터 상속받아 다른 엔터티와 차이가 있는 속성에 대해서는 별도의 서브엔터티로 구분

✔️ 슈퍼/서브 타입 데이터 모델의 변환

   변환 잘못하면 성능이 저하되는 이유 : 트랜잭션의 특성을 고려하지 않고 테이블을 설계했기 때문
  1. 트랜잭션은 항상 일괄로 처리하는데 테이블은 개별로 유지되어 Union 연산에 의해 성능 저하 가능
  2. 트랜잭션은 항상 서브타입 개별로 처리하는데 테이블은 하나로 통합되어 있어 불필요하게 많은 양의 데이터가 집약되어 있어 성능 저하 가능
  3. 트랜잭션은 항상 슈퍼 + 서브 타입을 공통으로 처리하는데 개별로 유지되어 있거나 하나의 테이블로 집약되어 있어 개별로 유지되어 있거나 하나의 테이블로 지약되어 있어 성능이 저하 가능

✔️ 슈퍼/서브 타입 데이터 모델의 변환기술

  1. 개별로 발생되는 트랜잭션에 대해서는 개별 테이블로 구성
  2. 슈퍼타입 + 서브타입에 대해 발생되는 트랜잭션에 대해서는 슈퍼 + 서브타입 테이블로 구성
  3. 전체를 하나로 묶어 트랜잭션이 발생할 때는 하나의 테이블로 국성

✔️ 인덱스 특성을 고려한 PK/FK DB 성능 향상

  인덱스의 특징은 여러 개의 속성이 하나의 인덱스로 구성되어 있을 때 앞쪽에 위치한 속성의 값이 비교자로 있어야 좋은 효율을 나타냄
  • 앞쪽에 위치한 속성의 값이 가급적 ‘=’ 아니면 범위 ‘BETWEEN’, ‘<>’가 들어와야 효율적
  • FK에도 인덱스를 생성할 필요가 있음

✔️ 분산 DB

  1. 여러 곳으로 분산되어 있는 DB를 하나의 가상 시스템으로 사용할 수 있도록 한 DB
  2. 논리적으로 동일한 시스템에 속하지만, 컴퓨터 네트워크를 통해 물리적으로 분산되어 있는 데이터집합

✔️ 분산 DB를 만족하기 위한 6가지 투명성

  1. 분할 투명성(단편화) : 하나의 논리적인 관계가 여러 단편으로 분할되어 각 사본이 여러 site에 저장
  2. 위치 투명성 : 사용하려는 데이터의 저장 장소 명시 불필요, 위치 정보가 시스템 카탈로그에 유지
  3. 지역사상 투명성 : 지역 DBMS와 물리적 DB 사이의 Mapping 보장
  4. 중복 투명성 : DB 객체가 여러 site에 중복 되어 있는지 알 필요가 없는 성질
  5. 장애 투명성 : 구성요소의 장애에 무관한 트랜잭션의 원자성 유지
  6. 병행 투명성 : 다수 트랜잭션 동시 수행시 결과의 일관성 유지, TimeStamp, 분산 2단계 Locking 이용

✔️ 분산 DB 장단점

장점

  • 지역 자치성
  • 신뢰성, 가용성, 효용성, 융통성
  • 빠른 응답속도
  • 비용절감
  • 각 지역 사용자 요구 수용

단점

  • 비용증가
  • 오류의 잠재성 증대
  • 설계 관리의 복잡성
  • 불규칙한 응답 속도
  • 통제의 어려움
  • 데이터 무결성 위협

✔️ 분산 DB 적용 기법

  1. 테이블 위치 분산
  2. 테이블 분할 분산
  3. 테이블 복제 분산
  4. 테이블 요약 분산