DBMS & SQL

DBMS(Database Management System)

CRUD(create, retrieve, update, delete)의 기능이 있다.
일반적으로 retrieve의 빈도수가 압도적으로 많다고 가정한다.
빠른 검색을 위해서는 정렬되어 있어야 한다.

Binary Search: 최대 log_2_n의 시간이 걸린다.
B-Tree: 최대 log_3_n의 시간이 걸린다. 상용 DBMS에서 가장 일반적으로 사용된다.
B-Tree는 한 번에 비교를 두 번 한다. 작은 값과 큰 값이 있어서 총 세 개로 나눠진다. C,U,D 때마다 작은 값과 큰 값이 수정된다.

C,U,D의 작업 때마다 인덱스/정렬 업데이트가 일어난다.
찾기 위해 미리 저장해 놓는 것이 인덱스이다.


RDBMS: 관계형 데이터베이스 시스템

테이블과 테이블 간의 연관관계를 이용해 필요한 정보를 구한다.
여러 테이블을 조인해서 필요한 정보를 찾아낸다.
Table: 정보들의 묶음 단위이다.
Column: 테이블을 구성하는 정보이다. 학생 테이블에 이름 컬럼, 주소 컬럼 등등. 이름 필드에 대한 정보는 row에 쭉 저장된다.
Schema: 테이블의 정의 내역이다. DB
SQL Query: RDBMS를 사용하는 질의 언어이다.. 대소문자 가리지 않는다. Interpreter 언어이다.
Primary Key(PK): 테이블에서 하나의 레코드를 지정할 수 있는 하나 이상의 컬럼 집합이다.
Foreign Key(FK): 어떤 테이블의 기본키가 다른 테이블의 컬럼에 들어있는 경우이다.
Record: 테이블에 있는 여러 인스턴스 하나 하나를 지정한다. PK로 구별 가능하다.
Domain Value: 각 컬럼에서 나올 수 있는 후보값이다.

중복을 피하기 위한 테이블 정의 규칙
제1 정규형: 나눌 수 있을 만큼 쪼갠다.
제2 정규형: 테이블의 컬럼들이 기본키와 직접 연관되는 컬럼만으로 구성한다.
제3 정규형: 컬럼들 간의 종속관계가 있으면 안된다. 있으면 따로 테이블을 만든다.

VLDB(Very Large DB)
write의 성능을 높이기 위해 별도의 partition/shard 나눌 수 있다. Sharding으로 DBMS의 내용을 분할한다.
read의 성능을 높이기 위해 replication을 사용할 수 있다.동일한 DBMS를 여러 개 유지해서 마스터와 슬레이브로 나눈다.
Scale-up은 cpu 클럭 속도 증가, 코어 수 증가, 메모리 증가 등이고 비용 부담이 크다.
Scale-out은 동일한 서버를 병렬로 구축하여 분산컴퓨팅을 하는 것이고 상대적으로 저렴하지만 효율은 상대적으로 떨어진다.

MySQL: 오라클이 만든 오픈소스 RDBMS이다.
show databases: DB 리스트를 나타낸다.
use world: world라는 DB를 사용한다.
show tables: 선택된 DB에 있는 테이블을 보여준다.
desc city: city라는 테이블 구조를 보여준다.
select * from city: city테이블의 내용을 보여준다.


SQL(Structured Query Language)

RDB에서 사용되는 기본 언어이다. 모든 RDBMS에서 사용 가능하다.
대소문자는 구별하지 않고 인터프리터이다.
DML(Data Manipulation Language): 테이블의 데이터(레코드)를 조작한다(CRUD 작업). insert, delete, update, select.
DDL(Data Definition Language): DB를 정의, 수정한다. create, drop, alter.
DCL(Data Control Language): DB나 테이블의 CRUD 권한을 정의한다. grant, revoke.

DML 예제
select Name from city where Population > 500000;
insert into city (ID, Name, Population) values (10000, 'Sample', 100000); 두 번째 괄호문에 모든 값이 다 입력된다면 첫 번째 괄호문을 생략할 수 있다.
update city set name='SampleRevised' where id = 10000; id가 10000인 레코드의 name을 수정한다.
delete from city where ID = 10000;  where에 매칭되는 레코드가 다수일 때는 그 모든 레코드에 수정이나 삭제 작업이 일어난다.
select distinct CountryCode from city where CountryCode = 'KOR'; distinct를 하면 중복된 값이 제거되어 나온다.
select * from city where CountryCode='KOR' and Population>500000;
select * from city where CountryCode!='KOR' and Population>500000;
select * from city where CountryCode in ('KOR', 'CHN', 'JPN');  or를 사용하는 것과 동일하다.
select * from city where (Population between 100000 and 500000);  and를 사용해서도 표현할 수 있다.
select * from city where CountryCode='KOR' order by Population, Name desc; asc(default)/desc중 옵션을 고를 수 있고 Population 순서로 먼저 한 뒤 같은 Population이라면 Name순서로 정렬해서 보여준다.
select * from city where CountryCode='KOR' limit 10; 상위 10개만 표현한다.
select count(*) from city where ~;  aggregation function이라고 한다.
select sum(Population) from city where~; 이외에도 avg, min, max등이 사용될 수 있다.
select length(Name) from country; 글자 수를 표시한다.
select upper(mid(name, 1, 3)) from country; name컬럼의 첫 세글자만 대문자로 표시한다.
select round(LifeExpectancy, 0) from country; 기대수명을 소수 첫째자리에서 반올림한다.
select * from city join country on city.CountryCode = country.Code; 테이블 간의 공통 컬럼이 존재해야 한다. city 테이블의 CountryCode와 country라는 테이블의 code가 동일한 정보일 때 가능하다.
create view VIEWNAME as select ~; 쿼리 결과값을 임시테이블로 저장하고 select * from VIEWNAME으로 볼 수 있다. 끝나면 DROP VIEW를 한다.

Transaction: 복수의 SQL문을 수행하는 도중에 장애가 발생했을 때 장애에 대응할 수 있도록 하는 기능이다.
전체 수행(commit)과 전체 취소(rollback) 두 가지의 결과값만 가져야 한다.
기본 수행모드는 AutoCommit(줄 단위 커밋)인데 transaction을 지원하기 위해서는 AutoCommit 모드를 꺼야한다.
ACID
Atomicity: All-or-Nothing. Commit/Rollback
Consistency: 트랜잭션 전후에 데이터가 손상을 받으면 안된다.
Isolation: 여러 개의 트랜잭션이 수행될 때 성능과 데이터 안정성 사이의 trade-off가 있다.
Durability: 트랜잭션이 종료된 이후에도 데이터에 문제가 없어야한다.

Consistency와 Integrity를 지키기 위해 lock을 쓴다.
테이블 단위의 Table lock과 줄 단위의 Row lock이 있다.
Isolation level: 트랜잭션 중에 데이터의 안정성 레벨을 지정한다. 안정성을 높일수록 성능은 떨어진다.


NoSQL(Not Only SQL)

특정 기술이 아니라 일련의 제품군을 말하며 MongoDB가 시초이고 Apache Cassandra, Apache HBASE 등이 있다.
쓰기 성능이 중요한 응용의 경우 좋은 성능을 보이기에 로그 머신, SNS 메신저 등에 쓰인다.
CAP 이론
Consistency: 어떤 노드를 접근하더라도 데이터값이 동일해야한다.
Availability: 노드 일부가 fail되더라도 서비스가 중단되면 안된다.
Partition Tolerance: 노드 간 통신에 장애가 생겨도 문제가 없어야 한다.
어떤 시스템도 3가지 모두를 만족시킬 수 있고 2가지만 가능하다.
Schemaless: 스키마(DDL) 기반이 아니라 필요하면 새로운 컬럼을 추가하면 된다. 전체적으로 동일한 구조가 아닐 수 있다. 그렇다고 웹데이터처럼 비정규형(plain text)가 아니라 semi 정규형 데이터이다.







---------------------------------------------------------------
Reference
https://tacademy.skplanet.com/live/player/onlineLectureDetail.action?seq=72

댓글

댓글 쓰기

이 블로그의 인기 게시물

논문 정리 - MapReduce: Simplified Data Processing on Large Clusters

Abstract 맵리듀스는 큰 데이터 셋을 다루는 프로그래밍 모델이다 . 사용자는 map 함수를 통해서 키 / 밸류 쌍을 이용하여 intermediate key/value pair 를 만들고 reduce 함수를 통해서 그 intermediate pair 들을 같은 key 별로 합쳐준다 . 많은 일들이 이런 모델을 통해 표현될 수 있다 . 이 모델은 분산 시스템이나 병렬 시스템에 대한 경험이 부족하더라도 분산 시스템의 자원을 쉽게 사용할 수 있게 해준다 . 1. introduction 데이터가 많아지면서 reasonable time 안에 작업을 끝내기 위해 수백 혹은 수천대의 기계에 분산되어야 했다 . 이 때 어떻게 연산을 병렬화하고 , 데이터를 분산하고 , 실패 작업을 어떻게 처리할지가 이슈가 되었다 . 이런 복잡한 문제들을 해결하기 위해 병렬화의 세세한 부분들은 숨기고 fault tolerance 하며 데이터를 분산시켜주고 로드 밸런싱을 해주는 라이브러리를 통해서 연산을 맵과 리듀스로 간단히 표현하도록 했다 . 2. Programming Model 사용자가 직접 만드는 맵 함수는 입력으로 key/value pairs 를 받아서 intermediate key/value pairs 를 만든다 . 그러면 intermediate key/value pairs 에 대해서 맵리듀스 라이브러리가 같은 key 별로 value 들을 묶어서 리듀스 함수로 보내준다 . 마찬가지로 사용자가 직접 만드는 리듀스 함수는 이 데이터를 받아서 key 별로 묶인 value 들을 합쳐서 표현한다 . 리듀스 함수에 전달되는 intermediate 데이터는 iterator 의 형태로 전달되기 때문에 메모리에 다 안 들어갈 정도로 큰 데이터도 처리할 수 있다 . 예를 들어서 , 어떤 문서에 있는 각 단어들이 몇 번 나왔는지 세는 프로그램을 생각해보자 . 그렇다면 맵 함수는 입력으로 < 문서 이름 , 문서 내용 > 의...
자세한 내용 보기

논문 정리 - The Google File System

The Google File System 1. Introduction 새로운 관점 component failure 은 예외가 아니라 일반적인 상황이다 . 그래서 constant monitoring, error detection, fault tolerance, automatic recovery 가 필요하다 . 파일의 크기가 커졌다 . I/O 작업이나 block 크기 등이 고려되어야 한다 . 원래 있는 데이터에 덮어쓰는 작업보다는 새로운 데이터를 추가한다 . 따라서 appending 이 성능 최적화에 중요해졌다 . 2. Design Overview 2.1 assumptions 시스템은 잘 고장나는 저렴한 장비들로 구성되어 있다 . 시스템은 큰 파일이 있다 . 작은 파일들도 있지만 optimizing 할 때는 고려하지 않는다 . 로드는 주로 큰 스트리밍 읽기와 작은 랜덤 읽기로 구성되어 있다 . 로드는 또한 파일에 데이터를 추가하는 많은 sequential write 가 있다 . 같은 파일에 여러 사용자가 동시에 데이터를 추가하는 경우도 잘 고려해야 한다 . 빠른 반응 속도 보다는 high sustained bandwidth 가 더 중요하다 . 대부분의 타겟 애플리케이션은 데이터 뭉텅이를 빠른 시간 내에 처리하는 것을 중요하게 여긴다 . 2.2 Interface 파일은 hierarchically , 디렉토리에 정렬돼있고 path name 으로 구분된다 . 또한 GFS 는 snapshot 과 record append 기능이 있다 . snapshot 은 파일이나 디렉토리 트리를 복사한다 . record append 는 다수 클라이언트가 데이터를 하나의 파일에 동시에 추가할 수 있도록 해준다 . 각 append 의 atomicity 를 보장하면서 . 2.3 Architecture 하나의 마스터와 여러개의 chunkserver 로 구성되어 있다 . 그리고 다수의...
자세한 내용 보기

kazoo: Using zookeeper api with python

``` pip3 install kazoo ``` https://kazoo.readthedocs.io/en/latest/basic_usage.html https://kazoo.readthedocs.io/en/latest/api/client.html ### 접속 ``` from kazoo.client import KazooClient zk = KazooClient(hosts='127.0.0.1:2181') zk.start() ``` 호스트에 접속할 때 default port는 2181이다. ### 상태 Listener zookeeper의 상태가 변하는 것을 알 수 있다. ``` from kazoo.client import KazooState def my_listener(state):     if state == KazooState.LOST:         # Register somewhere that the session was lost     elif state == KazooState.SUSPENDED:         # Handle being disconnected from Zookeeper     else:         # Handle being connected/reconnected to Zookeeper zk.add_listener(my_listener) ``` LOST CONNECTED SUSPENDED 의 state를 가질 수 있다. 가능한 상태 변화 - LOST -> CONNECTED - CONNECTED -> SUSPENDED - CONNECTED -> LOST - SUSPENDED -> LOST - SUSPENDED -> CONNECTED ### CRUD - `zk.create("/my/favorite/node", b"a value")` `create(path...
자세한 내용 보기