본문 바로가기

server

 (34)
확률적 자료구조 결론!! 1. 이 값이 데이터에 없는지 알고 싶어!! == Bloom filter 2. 그룹별로 카운팅을 하고 싶어!! == count min sketch 3. 엄청 큰 데이터의 카운팅을 하고 싶어 == hyper log log 해당 영상을 정리 및 풀어서 쓴 글입니다. 영상만 봐도 이해하시기 좋습니다!! 해시 == 고유한 key를 만들고 저장하고 싶은 것!! == 검색을 n(1)로 끝내고 싶어!! 하지만 저장하는 공간을 최소화하면 충돌문제가 일어나고, 해시 함수의 연산(보통은 충돌을 없애기 위해 모듈러 함수에서 key값을 엄청나게 큰 소수로 정한다)에도 많은 시간이 들어간다. 충돌이다!! John smith 와 sandra dee가 같은 곳을 바라보고 있다 충돌은 곧 디스크접근을 했다는 것이고, 그건 ..
7. UBER // 쏘카 // lyft // 카카오택시 지리적으로 A TO B까지의 운반해야 하는 모든 서비스에 적용 가능하다. ( 배민 / 요기요 등) 여기에서는 우버를 예로 들었다. 1. 기능 요구 사항 승차 공유 시스템 택시 호출 예약 요청이 들어오면 가까운 차들에게 순서대로 승차 요청이 가며 그중 한 명이 요청을 받을 수 있다 예상 도착 시간을 알 수 있어야 한다 택시 트래킹 (사용 가능한 드라이버를 볼 수 있어야 한다) 예상 가격을 알 수 있어야 한다. 번외 기능 원하는 운전자를 선택할 수 있어야 한다 운전자마다 가격(팁)이 다를수 있다 탑승 날짜와 시간을 예약할수 있어야 한다. 2. 용량 추정 및 제약 3억 명의 고객과 100만 명의 일일 활성 고객, 500,000명의 일일 활성 운전자가 있다고 가정합니다. 하루 100만 라이드를 가정합니다. 모든..
6. tinder tinder 틴더? 위치 기반 소셜 검색 애플리케이션 상대의 사진과 400자 미만의 간단한 소개를 읽고 마음에 들면 오른쪽으로 스와이프해 좋아요(Like)를, 그렇지 않으면 왼쪽으로 스와이프해 거절(nope)을 하는 직관적인 방식, 위로 올리면 Super Like. 양쪽 모두가 좋아요를 보내면 매치가 성사되며, 매칭 된 뒤에는 채팅이 가능 자신이 좋아요를 받은 숫자가 표시되고, 유료 결제를 하면 자신에게 좋아요를 보낸 대상을 볼 수 있다 소개 영상 1. 기능 요구 사항 유저는 자신의 정보를 추가하고 사진을 업로드하여 Tinder 프로필을 만들 수 있어야 한다. 유저는 지리적으로 가까운 지역에있는 다른 사용자의 추천을 볼 수 있어야 한다 유저는 다른 추천 사용자를 좋아 (오른쪽으로 스 와이프)하거나 싫어 ..
5. dropbox // google drive 1. 기능 요구 사항 File Upload, Update, Delete and Download File search File and folder sync File history (versioning) 예외상황들 File size limit 파일 권한 (수정 삭제) 동일 파일 수정에 따른 에러 핸들러 2. 추정 및 제약 사항 총 사용자 : ~ 10억 일일 활성 사용자 ~ 5천만 QPS : 하루 최대 5억 건 요청 (초당 6000건) 저장 용량 추정평균 파일 크기는 1MB이라 할 때 1MB * 100개 * 10억 = 10000PB 모든 사용자가 평균 100개의 파일을 가지고 있다고 가정 읽기 / 쓰기 비율 : 1 : 1 예상 트래픽 : 초당 6G 파일 쓰기 초당 6000건 * 1MB = 6GB 메모리 사용량..
4. instagram // Flickr // Picasa 1. instagram 이란? 사용자가 자신의 사진과 동영상을 업로드하고 다른 사용자와 공유할 수 있는 소셜 네트워크 2. 시스템 요구 사항 사용자는 사진을 업로드 / 다운로드 / 볼 수 있어야 한다 사용자는 사진 / 비디오 제목을 기반으로 검색을 수행 할 수 있다 사용자는 다른 사용자를 팔로우 할 수 있다 시스템은 사용자가 팔로우하는 모든 사람들의 인기 사진으로 구성된 사용자의 뉴스 피드를 생성하고 표시해야 한다 3. 디자인 고려사항 사용자는 원하는 만큼 사진을 업로드 할 수 있다. 따라서 스토리지의 효율적인 관리가 중요하다 데이터는 100 % 신뢰할 수 있어야 한다. 사용자가 사진을 업로드하면 시스템은 사진이 손실되지 않도록 보장해야 한다 4. 용량 추정 총 사용자가 5억 명이고 일일 활성 사용자가 ..
3. twitter 1. 기능 요구 사항 글 쓰기 타임라인 확인 트렌드 및 해시태그 리스트 검색 2. 추정 및 제약 사항 쓰기에 비해 읽기가 많다 최종 일관성을 유지해야 한다. 사용자가 팔로워의 트윗을 약간 늦추어도 괜찮다 트윗은 140 자로 제한 3. 데이터베이스 설계 Redis && DB 기능 요구 사항에 따른 필요 테이블들 user tweet follwer DB 테이블 관계도 필요 쿼리들 get follwers get latest tweets Twitter 서비스의 기본 아키텍처는 User , Tweet , Followers로 구성된다. 사용자 정보는 사용자 테이블에 저장된다 사용자가 트윗하면 사용자 ID와 함께 tweet 테이블에 저장된다 사용자 테이블은 tweet 테이블과 일대 다 관계를 갖는다. 사용자가 다른 사..
2. pastebin ( text storage site ) 페이스트빈? 텍스트 쉐어링 웹사이트 사용자가 플레인 텍스트를 저장할 수 있는 웹 애플리케이션을 의미한다. 깃허브는 버전 관리 기능을 가진 페이스트빈 서비스를 제공한다. 한마디로 텍스트 공유 플랫폼 예제 사이트 : https://pastebin.com/ 1. 기능 요구 사항 사용자는 텍스트를 입력하거나 텍스트 파일을 업로드하고 고유한 short URL을 얻을 수 있다. 만료 시간이 제공되면 URL은 일정 기간이 지나면 만료된다. short URL이 주어지면 사용자는 원본 콘텐츠에 액세스 할 수 있어야 한다. 서비스는 REST API로 통신할 수 있어야 한다. 텍스트 최대 사이즈는 1MB로 제한한다. 읽기 요청이 쓰기 요청보다 100배 더 많다!! (읽기:쓰기 == 100:1) 2. 추정 및 제약사항 한달에..
캐시 컴퓨터에서 캐시는 일시적인 데이터 집합으로 데이터 요청 시 해당 데이터의 스토리지에 액세스 하여 가능한 한 빨리 처리 위해 사용된다. 캐시를 사용하면 이전의 검색이나 데이터를 효율적으로 재사용할 수 있다 캐시는 운영 체제, CDN (Content Delivery Networks) 및 DNS를 포함한 네트워킹 계층, 웹 애플리케이션 및 데이터베이스를 포함한 다양한 기술 계층 전반에 걸쳐 적용 및 활용할 수 있다. 캐싱을 사용하여 웹서비스, 게임, 미디어 공유 및 소셜 네트워킹과 같은 읽기가 많은 애플리케이션 워크로드에 대해 지연 시간을 크게 줄이고 IOPS를 개선 할 수 있다. 애플리케이션 서버 캐시 서버 요청 계층에 직접 캐시를 배치하면 응답 데이터의 로컬 저장이 가능하다. 서비스에 대한 요청이 있을 때..

티스토리툴바