Network Security

Paros
서버와 클라이언트 사이에 위치해서 parameter를 변조할 수 있다.
랜설정의 proxy 설정에서 주소를 Paros의 local proxy로 입력하면 웹서핑을 할 때 서버로 바로 가지 않고 해당 proxy를 통해서 간다.
Trap Request를 해놓으면 클라이언트에서 요청을 서버로 보낼 때 Paros에 잡히고 안보내진다.
Paros에서 continue를 눌러 줘야 서버로 전송이 되는데 continue 누르기 전에 request를 수정할 수 있다.

Firewall는 port/ip 기반으로 작동한다.
허용 정책에 포함되지 않은 port/ip 모두 차단한다.
하지만 야후와 같은 웹서비스가 대중화되면서 80포트를 모든 사용자에게 열어놔야 한다. 이 때문에 ip/port만으로는 방어가 어렵워졌다.
IDS(Instruction Detection System)가 나왔다. 주소만 보는 것이 아니라 무슨 명령인지를 본다.(snort)

패턴매칭
오고 가는 패턴으로 상호관계를 파악한다.
Misuse 분석: IDS, IPS(black list)
Anomaly 분석: Firewall(white list)
패턴매칭은 만들기도 쉽고 쓰기도 쉽다.
문제로는 false positives, negatives가 있고 로그가 점점 커지는 걸 직접 확인하기 어려워졌다.
예를 들어 bug가 blacklist에 있는데 bugger도 탐지가 될 수 있다.

이상징후 분석
평소의 기록을 기반으로 다른 작업이 생기면 이상징후로 판단한다.
어떤 현상의 변화를 숫자로 표현한 통계분석을 이용할 수 있다.
이를 위해서는 정확한 데이터의 수를 세야 한다.
대용량의 로그를 분석할 수 있기 때문에 유의미한 통계를 낼 수 있게 되어 가능해졌다.


Snort
NIPS(Network Intrusion Prevention System)이자 NIDS(Network Intrusion Detection System)이다.
실시간 트래픽 분석과 IP에서의 패킷 로깅을 수행한다.
프로토콜 분석, 내용 검색 그리고 매칭을 수행한다.
 스니퍼 모드: 네트워크 패킷을 읽고 콘솔에 보여준다.
 패킷 로거 모드: 패킷을 디스크에 기록한다.
 IDS/IPS 모드: 네트워크 트래픽을 모니터하고 사용자에 의해 정의된 규칙에 반하는지를 분석한다.
하지만 Snort는 단일 스레드만 지원해서 대용량 트래픽을 실시간으로 처리하기는 힘들다.
Suricata가 그 단점을 개선한 오픈 소스 기반의 IDS/IPS이다.


ElasticSearch
Elasticsearch, Logstach, Kibana의 앞글자를 따서 ELK Stack이라고 한다. Beats도 포함된다.
웹사이트 검색, 로깅과 로그 분석, 앱 성능 모니터링, 보안 분석 등에 쓰일 수 있다.
Elasticsearch의 index는 서로 관련되어 있는 JSON 문서들의 모음인데 각 문서에는 일련의 키와 값이 서로 연결되어 있다.
Logstash는 서버 사이드 오픈 소스 데이터 처리 파이프라인으로, 데이터를 집계하고 처리하여 Elasticsearch에 전송하여 색인되도록 한다.
Kibana는 Elasticsearch를 위한 시각화 및 관리 도구이다.
Elasticsearch는 빠르고, 본질상 분산적이고, 광범위한 기능 세트와 함께 제공되고, 데이터 수집/시각화/보고를 간소화한다.


----------------------------------------------------
Reference
https://tacademy.skplanet.com/live/player/onlineLectureDetail.action?seq=146


댓글

댓글 쓰기

이 블로그의 인기 게시물

논문 정리 - MapReduce: Simplified Data Processing on Large Clusters

Abstract 맵리듀스는 큰 데이터 셋을 다루는 프로그래밍 모델이다 . 사용자는 map 함수를 통해서 키 / 밸류 쌍을 이용하여 intermediate key/value pair 를 만들고 reduce 함수를 통해서 그 intermediate pair 들을 같은 key 별로 합쳐준다 . 많은 일들이 이런 모델을 통해 표현될 수 있다 . 이 모델은 분산 시스템이나 병렬 시스템에 대한 경험이 부족하더라도 분산 시스템의 자원을 쉽게 사용할 수 있게 해준다 . 1. introduction 데이터가 많아지면서 reasonable time 안에 작업을 끝내기 위해 수백 혹은 수천대의 기계에 분산되어야 했다 . 이 때 어떻게 연산을 병렬화하고 , 데이터를 분산하고 , 실패 작업을 어떻게 처리할지가 이슈가 되었다 . 이런 복잡한 문제들을 해결하기 위해 병렬화의 세세한 부분들은 숨기고 fault tolerance 하며 데이터를 분산시켜주고 로드 밸런싱을 해주는 라이브러리를 통해서 연산을 맵과 리듀스로 간단히 표현하도록 했다 . 2. Programming Model 사용자가 직접 만드는 맵 함수는 입력으로 key/value pairs 를 받아서 intermediate key/value pairs 를 만든다 . 그러면 intermediate key/value pairs 에 대해서 맵리듀스 라이브러리가 같은 key 별로 value 들을 묶어서 리듀스 함수로 보내준다 . 마찬가지로 사용자가 직접 만드는 리듀스 함수는 이 데이터를 받아서 key 별로 묶인 value 들을 합쳐서 표현한다 . 리듀스 함수에 전달되는 intermediate 데이터는 iterator 의 형태로 전달되기 때문에 메모리에 다 안 들어갈 정도로 큰 데이터도 처리할 수 있다 . 예를 들어서 , 어떤 문서에 있는 각 단어들이 몇 번 나왔는지 세는 프로그램을 생각해보자 . 그렇다면 맵 함수는 입력으로 < 문서 이름 , 문서 내용 > 의...
자세한 내용 보기

논문 정리 - The Google File System

The Google File System 1. Introduction 새로운 관점 component failure 은 예외가 아니라 일반적인 상황이다 . 그래서 constant monitoring, error detection, fault tolerance, automatic recovery 가 필요하다 . 파일의 크기가 커졌다 . I/O 작업이나 block 크기 등이 고려되어야 한다 . 원래 있는 데이터에 덮어쓰는 작업보다는 새로운 데이터를 추가한다 . 따라서 appending 이 성능 최적화에 중요해졌다 . 2. Design Overview 2.1 assumptions 시스템은 잘 고장나는 저렴한 장비들로 구성되어 있다 . 시스템은 큰 파일이 있다 . 작은 파일들도 있지만 optimizing 할 때는 고려하지 않는다 . 로드는 주로 큰 스트리밍 읽기와 작은 랜덤 읽기로 구성되어 있다 . 로드는 또한 파일에 데이터를 추가하는 많은 sequential write 가 있다 . 같은 파일에 여러 사용자가 동시에 데이터를 추가하는 경우도 잘 고려해야 한다 . 빠른 반응 속도 보다는 high sustained bandwidth 가 더 중요하다 . 대부분의 타겟 애플리케이션은 데이터 뭉텅이를 빠른 시간 내에 처리하는 것을 중요하게 여긴다 . 2.2 Interface 파일은 hierarchically , 디렉토리에 정렬돼있고 path name 으로 구분된다 . 또한 GFS 는 snapshot 과 record append 기능이 있다 . snapshot 은 파일이나 디렉토리 트리를 복사한다 . record append 는 다수 클라이언트가 데이터를 하나의 파일에 동시에 추가할 수 있도록 해준다 . 각 append 의 atomicity 를 보장하면서 . 2.3 Architecture 하나의 마스터와 여러개의 chunkserver 로 구성되어 있다 . 그리고 다수의...
자세한 내용 보기

kazoo: Using zookeeper api with python

``` pip3 install kazoo ``` https://kazoo.readthedocs.io/en/latest/basic_usage.html https://kazoo.readthedocs.io/en/latest/api/client.html ### 접속 ``` from kazoo.client import KazooClient zk = KazooClient(hosts='127.0.0.1:2181') zk.start() ``` 호스트에 접속할 때 default port는 2181이다. ### 상태 Listener zookeeper의 상태가 변하는 것을 알 수 있다. ``` from kazoo.client import KazooState def my_listener(state):     if state == KazooState.LOST:         # Register somewhere that the session was lost     elif state == KazooState.SUSPENDED:         # Handle being disconnected from Zookeeper     else:         # Handle being connected/reconnected to Zookeeper zk.add_listener(my_listener) ``` LOST CONNECTED SUSPENDED 의 state를 가질 수 있다. 가능한 상태 변화 - LOST -> CONNECTED - CONNECTED -> SUSPENDED - CONNECTED -> LOST - SUSPENDED -> LOST - SUSPENDED -> CONNECTED ### CRUD - `zk.create("/my/favorite/node", b"a value")` `create(path...
자세한 내용 보기