본문 바로가기

세계정복의주인장

 (1148)
역행자 https://www.youtube.com/watch?v=n123UqppM_Q 1단계 자의식 해체 2단계 정체성 만들기 3단계 유전자 오작동 4단계 뇌 자동화 5단계 역행자의 지식 6단계 경제적 자유를 얻는 구체적 루트 7단계 역행자의 쳇바퀴 ☝ 하루 2시간 동안 책을 읽거나 글을 쓴다. 뇌를 업그레이드 하는 가장 좋은 방법이다. 하루에 한번, “5분의 생각” 시간을 갖는다. 여백의 사간을 통해 좋은 결정을 쌓는다. 적극적으로 논다. 무조건 7시간 이상 숙면한다. 1단계 자의식 해체 💡 나는 물건을 살때 어떻게 행동하는가? 검색을 했다. 해당 검색어로 지식인 작업을 하고 블로그를 쓰자. 나와 같은 고민을 하는 사람들은 키워드로 검색할 것이다. 블로그나 지식인을 타고 온 사람들에게 신뢰를 주기 위해선 전문..
postgresql SQL Error [42P10]: ERROR: there is no unique or exclusion constraint matching the ON CONFLICT specification 문제점 다음과 같이 insert on conflict 구문일때 실행시 에러가 발생했다. INSERT INTO frame (id, chnl_id, frame_body_cntt, create_at, updated_at) VALUES ('A0016','A','오렌지', now(), now()) ON CONFLICT (id) DO nothing; 해결책 공식문서를 보자!! https://www.postgresql.org/docs/current/sql-insert.html INSERT INSERT INSERT — create new rows in a table Synopsis [ WITH [ RECURSIVE ] with_query [, ...] ] INSERT … www.postgresql.org on conf..
airflow ModuleNotFoundError: No module named 'slacker’ 문제점 airflow를 docker-compose로 관리하며 사용중이며 python 패키지를 추가해야하는데, docker 빌드시 requirement.txt에 패키지를 추가 했지만 airflow에서는 설치가 안되엇다고 계속 에러 메시지가 뜬다. 심지어 도커 빌드시 설치가 되는것을 확인했다!!! dockerfile에서 설치하려는 나의 노력을 볼수있다! 하지만 소용이 없었다. FROM apache/airflow:2.1.3 USER root RUN apt-get update \ && apt-get install -y --no-install-recommends \ openjdk-11-jre-headless \ && apt-get autoremove -yqq --purge \ && apt-get clean \ &..
selenium into aws lambda selenium을 비용을 최소로 하기 위해서 lambda에 docker 를 이용하는 방법을 이용했다. 해당 작업의 기초적인 소스 코드를 공유하고자 한다. 프로젝트 구성은 다음과 같다. (venv는 무시해도 된다.) 해당 파일들은 github에 올려놨으니 받아서 사용해도 된다. https://github.com/uiandwe/lambda-selenium-docker GitHub - uiandwe/lambda-selenium-docker Contribute to uiandwe/lambda-selenium-docker development by creating an account on GitHub. github.com chrome-deps.txt : chrome 설치에 필요한 yum 패키지 리스트 instal..
'utf-8' codec can't decode byte 0xff in position 0: invalid start byte 해당 사항은 이미지에 대한 건 입니다. 일반적인 텍스트일 경우 다르게 동작 할 수 있습니다. 크롤링 중 리턴 값이 바이트형식으로 되어 있다. 'utf-8' codec can't decode byte 0xff in position 0: invalid start byte 다른 인코드 형태인가 해서 euc-kr / cp949 / utf-16도 해봤지만 모두 에러가 발생했다. 사실 에러가 발생하는 요청은 이미지로 정상적인 이미지인 부분은 변환이 불가능 하여 에러가 발생하였고, 이미지가 아닐경우에 을 리턴하는 형태의 api 였다 (이 무슨…괴랄한..) req.content.decode('utf-8', 'ignore') 를 한다면 이미지의 경우 깨진 string으로 변환되고 html일 경우엔 정상적으로 string..
쿠폰발급 서비스 구축하기 (실험용) 문제!! 쿠폰 발급 시스템을 만들어 볼 예정입니다. 쿠폰은 100개이며 선착순으로 발급됩니다. 대용량의 요청을 견디기 위해선 어떤 점을 고려해서 해야 하는가? 1. 10000개의 요청을 견디는 서비스 구조를 만들자!! 우선 하나의 ec2를 올려서 LB에 물려서 통신을 확인하자!! (Hello, world!) LB 로그에서 통신 10개 성공 확인 성공 확인 (200) 이번엔 10000개를 테스트해보자!! 에러율 83%!!!! 하나의 서버로는 일반 요청(DB 요청 커넥션 없음)부터 에러가 발생한다. gunicorn 로그를 봤더니 별다른 에러가 없다. 그냥 통신 자체가 서버까지 도달하지 못했다. 그러면 ec2를 LB(로드 밸런스)에 더 추가해보자. (target group에 추가하는 게 건강상 좋습니다.) e..
백엔드 개발자 질문들 (2022) 왜 우리 회사인지? 왜 이 직무인지? 왜 이직하려 하는지? 동료들에게 어떤 피드백을 받았는지 자신이 동료들보다 잘한다고 생각한점 칭찬하고 싶은 동료와 이유는? 팀으로 일하는것과 어떻게 팀에게 도움이 될 수 있는지? 관여 했던 프로젝트 설명 자랑하고 싶은 프로젝트는? - Postgre 와 다른 db와의 차이점은? - docker는 어떻게 os에 상관없이 실행가능한가? - 무중단 서비스에서 실시간으로 수집된 로그로 모델을 만들고 배포해야 한다면 시스템을 어떻게 설계해야 하는가? - Python이 멀티스레드를 사용하지 않고 wsgi를 사용해야 하는 이유는? - 디비상의 요청이 많을때 어떻게 설계해야 하는가? - 실서버에서의 갑작스런 디비 요청이 많을때는 어떻게 설계해야 하는가? - 트랜잭션 - 서비스 했던 쿠..
1. CNN ? DNN(Deep Neural Network) → CNN(Convolutional Neural Networks) 전환기 DNN(Deep Neural Network)은 다양한 사례를 해결해주는 머신러닝으로 급부상했었다. 일반 수치형, 범주형 변수로 이루어져 있는 데이터는 모든 파라미터를 다 고려하여 모델링을 하는 것이 좋을 수도 있겠지만, 문제는 이미지와 같이 고차원의 데이터에서는 DNN의 모델링이 제대로 작동하지 않는다는 것이다. 여기서 등장한 것이 CNN이다. CNN은 어떤 점이 특별하기에 DNN의 문제점을 해결했을까? 1. CNN( Convolutional Neural Networks 합성곱 신경망 ) 딥러닝에서 주로 이미지나 영상 데이터를 처리할 때 쓰이며 이름에서 알 수 있다 시피 Convoluti..

티스토리툴바