본문 바로가기

세계정복의주인장

 (1145)
selenium into aws lambda selenium을 비용을 최소로 하기 위해서 lambda에 docker 를 이용하는 방법을 이용했다. 해당 작업의 기초적인 소스 코드를 공유하고자 한다. 프로젝트 구성은 다음과 같다. (venv는 무시해도 된다.) 해당 파일들은 github에 올려놨으니 받아서 사용해도 된다. https://github.com/uiandwe/lambda-selenium-docker GitHub - uiandwe/lambda-selenium-docker Contribute to uiandwe/lambda-selenium-docker development by creating an account on GitHub. github.com chrome-deps.txt : chrome 설치에 필요한 yum 패키지 리스트 instal..
'utf-8' codec can't decode byte 0xff in position 0: invalid start byte 해당 사항은 이미지에 대한 건 입니다. 일반적인 텍스트일 경우 다르게 동작 할 수 있습니다. 크롤링 중 리턴 값이 바이트형식으로 되어 있다. 'utf-8' codec can't decode byte 0xff in position 0: invalid start byte 다른 인코드 형태인가 해서 euc-kr / cp949 / utf-16도 해봤지만 모두 에러가 발생했다. 사실 에러가 발생하는 요청은 이미지로 정상적인 이미지인 부분은 변환이 불가능 하여 에러가 발생하였고, 이미지가 아닐경우에 을 리턴하는 형태의 api 였다 (이 무슨…괴랄한..) req.content.decode('utf-8', 'ignore') 를 한다면 이미지의 경우 깨진 string으로 변환되고 html일 경우엔 정상적으로 string..
쿠폰발급 서비스 구축하기 (실험용) 문제!! 쿠폰 발급 시스템을 만들어 볼 예정입니다. 쿠폰은 100개이며 선착순으로 발급됩니다. 대용량의 요청을 견디기 위해선 어떤 점을 고려해서 해야 하는가? 1. 10000개의 요청을 견디는 서비스 구조를 만들자!! 우선 하나의 ec2를 올려서 LB에 물려서 통신을 확인하자!! (Hello, world!) LB 로그에서 통신 10개 성공 확인 성공 확인 (200) 이번엔 10000개를 테스트해보자!! 에러율 83%!!!! 하나의 서버로는 일반 요청(DB 요청 커넥션 없음)부터 에러가 발생한다. gunicorn 로그를 봤더니 별다른 에러가 없다. 그냥 통신 자체가 서버까지 도달하지 못했다. 그러면 ec2를 LB(로드 밸런스)에 더 추가해보자. (target group에 추가하는 게 건강상 좋습니다.) e..
백엔드 개발자 질문들 (2022) 왜 우리 회사인지? 왜 이 직무인지? 왜 이직하려 하는지? 동료들에게 어떤 피드백을 받았는지 자신이 동료들보다 잘한다고 생각한점 칭찬하고 싶은 동료와 이유는? 팀으로 일하는것과 어떻게 팀에게 도움이 될 수 있는지? 관여 했던 프로젝트 설명 자랑하고 싶은 프로젝트는? - Postgre 와 다른 db와의 차이점은? - docker는 어떻게 os에 상관없이 실행가능한가? - 무중단 서비스에서 실시간으로 수집된 로그로 모델을 만들고 배포해야 한다면 시스템을 어떻게 설계해야 하는가? - Python이 멀티스레드를 사용하지 않고 wsgi를 사용해야 하는 이유는? - 디비상의 요청이 많을때 어떻게 설계해야 하는가? - 실서버에서의 갑작스런 디비 요청이 많을때는 어떻게 설계해야 하는가? - 트랜잭션 - 서비스 했던 쿠..
1. CNN ? DNN(Deep Neural Network) → CNN(Convolutional Neural Networks) 전환기 DNN(Deep Neural Network)은 다양한 사례를 해결해주는 머신러닝으로 급부상했었다. 일반 수치형, 범주형 변수로 이루어져 있는 데이터는 모든 파라미터를 다 고려하여 모델링을 하는 것이 좋을 수도 있겠지만, 문제는 이미지와 같이 고차원의 데이터에서는 DNN의 모델링이 제대로 작동하지 않는다는 것이다. 여기서 등장한 것이 CNN이다. CNN은 어떤 점이 특별하기에 DNN의 문제점을 해결했을까? 1. CNN( Convolutional Neural Networks 합성곱 신경망 ) 딥러닝에서 주로 이미지나 영상 데이터를 처리할 때 쓰이며 이름에서 알 수 있다 시피 Convoluti..
aws codedeploy Could not download bundle at after 3 retries. Server returned codes: 404 'Not Found'; 404 'Not Found'; 404 'Not Found'; 404 'Not Found'. Could not download bundle at 'https://api.github.com/repos/*****/******/************/**********' after 3 retries. Server returned codes: 404 'Not Found'; 404 'Not Found'; 404 'Not Found'; 404 'Not Found'. 만일 codedeploy 설정시 이런 에러가 뜬다면 설정한 github가 private 설정으로 codedeploy에서 github로 접근이 불가능한 상태이다. 해당 링크를 따라 하면 된다. https://docs.aws.amazon.com/ko_kr/codedeploy/latest/userguide/integrations-partners-gi..
centos에 python oracle 패키지 에러 libclntsh.so: cannot open shared object file: No such file or directory django.db.utils.DatabaseError: DPI-1047: Cannot locate a 64-bit Oracle Client library: "libclntsh.so: cannot open shared object file: No such file or directory". See https://cx-oracle.readthedocs.io/en/latest/user_guide/installation.html for help 파이썬에서 오라클에 접속하기 위해선 cx_oracle 패키지를 사용하는데, cx_oracle에선 오라클의 libclntsh.so라는 파일을 사용한다. 리눅스에서는 오라클의 해당 패키지를 다운로드 한 후 패스를 설정해 주면 된다. 1. 패키지 다운로드 https://www..
docker로 sqld 실습환경 만들기 책은 SQLD 비밀노트 이다. (왠만하면.....추천 안한다) 음...-_- 책에서 실습 환경이 윈도우로만 되어 있어서 mac 환경에서 하기 위해 docker로 진행한 부분을 포스팅 한다. 책에서 쓰인 데이터 및 스크립트들은 아래 링크에서 받을 수 있다. (언제든지 링크 주소는 바뀔수 있으니, 한빛출판사 홈페이지에서 검색해보자) https://hanbit.co.kr/media/books/book_view.html?p_code=B8289488788 소문난 명강의 : 시험장에 몰래 가져갈 이경오의 SQL+SQLD 비밀노트 공공 데이터를 활용해 SQL 기본부터 실무 활용, 그리고 SQLD 자격증까지 한번에 끝낼 수 있는 도서 hanbit.co.kr 1. docker로 oracle 실행하기 docker imag..

티스토리툴바