본문 바로가기

세계정복의주인장

(1085)
백엔드 개발자 질문들 (2021) 왜 지원 했는지 어떤 일을 했는지 + 프로젝트 구성도 일을 하면서 기억에 남는 프로젝트 일을 하면서 힘들었던 점 사이트 접속시 화면이 뜨지 않을 때 어떤 부분을 체크해야 하는가? 디비는 어떻게 체크하고 관리하는지 N+1 django select_related // prefatch_related ORM ORM을 쓰지 않고 일반 쿼리는 어떻게 관리하는지 현재 프로젝트의 CI//CD 구성 테스트코드를 작성하는지 커버리지는 체크 하는지 현재 작성한 프로젝트의 트래픽은? + 어느정도 견딜수 있도록 설계 했는가? 코드작성시 어떤것을 가장 우선시 하는지? 새로운 언어를 배워야 한다면 어떻게 생각하는지? 팀장으로써의 역활을 맡는다면 어떻게 생각하는지? 요즘 공부하는 것은? - 이젠 경력이 쌓여서 그런가 기본적인것은 안..
요즘 같은 세상에.... 책의 가장 첫페이지..... windows만 지원한다는건 이해하는데... 포맷하고 재설치 하라니... 미쳤습니까 휴먼? 이런 사람이 강의를 하고 있다고???? 세상에...
airflow scheduler high cpu usage CPU 99.7% 사용중 ........ 전혀 dag이 실행중이지 않는데도 CPU를 사용입니다. 너무 잦은 DAG 파일 검색으로 인한 CPU부하와 함께 기존 하위 버전 v1.10.*부터 아래와 같은 버그가 있었습니다. 스케줄러 버그 - 스케쥴러가 중단없이 계속 반복됨 웹서버의 높은 CPU 부하 또한 airflow의 디폴트 값 설정값은 속도를 중시하에 셋팅 되어 있습니다. 자신만의 CPU 상황과 dag+task의 수에 맞게 [scheduler] / [webserver] / [core]의 환경변수를 조절 해야 합니다. 아래는 이번에 수정한 환경변수 목록 입니다. 이중에서 dag_dir_list_interval / min_file_process_interval 를 높게 설정한것만으로도 CPU 부하를 줄일 수 ..
문자열 검색 알고리즘 ( Brute force search / 라빈 카프 / KMP / Boyer-Moore) 서문 https://leetcode.com/problems/implement-strstr/ 의 문제를 풀면서 의문이 들었다. 해당 문제는 이중 for문을 사용하면 timeout이 발생한다. python로 문제를 푼다면 find 함수를 사용하여 간단히 풀 수 있다. 각 언어별로 find(text, pattern)는 (문자열 text에 특정 문자열 pattern의 위치를 리턴하는 함수)가 있을텐데 pytho은 "어떤 알고리즘을 사용하길래 문자열을 빠르게 찾는걸까?"에서 시작했다. 언어별 결과를 빠르게 알고 싶다면 글의 마지막 번외를 보시면 됩니다. 문자열 검색 알고리즘에 어떤것들이 있는지, 차근차근 공부를 해보는 문서이다. 1. Brute force search 무차별 문자열 검색은 매우 기본적인 하위 문자..
제주도 관광객 분석 중국 관광객에 대한 분석 중국이 제주도 대부분의 관광객을 차지(최대 95.7% - 2014년 08월) 각 연도 겨울엔 관광객이 감소추이 2015년 대한민국 중동호흡기증후군 유행으로 전체 관광객 감소 2017년 3월 3일 - 중국 정부는 한국 관광을 전면 금지(총 관광객 31.5% - 2017년 04월) 현재까지 코로나로 인해 감소 하였지만 증가 추이 전체 관광객 분석 일본은 전체적으로 감소 서구권의 증가 가을엔 말레이시아의 관광객 증가 겨울엔 태국의 증가
방한외국인데이터분석 https://nbviewer.org/github/uiandwe/TIL/blob/master/Machine_Running/%EB%B0%A9%ED%95%9C%EC%99%B8%EA%B5%AD%EC%9D%B8%EB%8D%B0%EC%9D%B4%ED%84%B0%EB%B6%84%EC%84%9D.ipynb
pytest 시 여러개의 디비 사용하기 참고로 pytest-django 에서 여러개의 디비를 사용하도록 하는 공식적인 버전은 4.3.0 부터 입니다. 해당 버전이 아닐경우 다른 결과가 나올수 있습니다. 1. 테스트 격리! 일단 나의 진행중인 프로젝트에서는 하나의 django에서 4개의 디비를 바라보고 있다. (........) 사실 한 프로젝트에서 여러개의 디비를 사용하는게 이상한 설계인데, SPOF나기 딱 좋은 지점이기 때문이고, 관리도 어렵다. 특히나 테스트시에는 디비를 않쓰는게 가장 베스트이고 (외부 연결점이 없을수록 격리성이 좋다) 테스트시에 디비를 어쩔수 써야 한다면 1번 디비를 테스트 -> 2번 디비를 테스트 -> .. 하는 식으로 단 하나의 디비만을 테스트 하는것을 추천한다. 각 디비를 초기화 및 셋팅하는데 걸리는 시간과 각각의 ..
이력서 자동 생성 - 로직 1. 모델 생성 2. API 서비스 - 스크랩핑을 통한 블로그 키워드 추출 ( tistory / medium / velog ) - 키워드 추출 제시 or 사용자가 키워드 입력(10개) - 결과 저장(생성된 자소서) - 다시 LSTM 실행 후 모델 생성 - 비용 절감을 위해 API 서비스+ 스크랩핑은 람다로 구현 예정 - 모델과 결과 저장은 s3 - 머신러닝은 시간이 너무 오래 걸려 일단은 자체 서버로 해결