본문 바로가기

ML/데이터 분석

 (11)
[airflow] certified https://academy.astronomer.io/certification-exam-apache-airflow-3-fundamentalshttps://academy.astronomer.io/certification-exam-dag-authoring-airflow-3 airflow 관련 두개의 인증 시험을 봤다. 뭐.. fundamentals는 정말 기초여서 쉬웠고 (공부 안하고 봤더니, 10개나 틀렸다),dag authoring은 airflow3을 기준으로 해서, 강좌와 문서를 보면 쉽게 합격할 수 있다. (하나 틀렷따..ㅋ) 가끔씩 무료로 볼수 있도록 코드가 배포되니, airflow 관련 커뮤니티 잘보고 있으면 코드도 쉽게 얻을수 잇다. (1..
[airflow] Branching 브랜칭은 런타임 조건에 따라 실행 경로를 선택하는 기능쓰임새: 데이터 유효성 검증(있으면 진행/없으면 스킵), 환경별 처리(dev/prod), 시간대별로 다른 경로, 리소스 절감 등.브랜치에 **선택되지 않은 태스크는 실패가 아닌 skipped**로 표시1. @task.branch Decorator해당 테스크의 리턴값으로 다음 task의 분기를 결정. (airflow의 설계 사상에서는 task 내에 if 문으로 처리하기 보다는 각각의 독립된 task를 사용하도록 권장하고 있다. 그래서 branch를 통해서 다음에 어느 task를 실행할지를 결정해야 한다. from airflow import DAGfrom airflow.decorators import taskfrom airflow.operators.emp..
CoxPHFitter Cox 비례위험모형 (Cox Proportional Hazards Model) 은 생존 시간에 영향을 미치는 다수의 공변량(설명 변수) 을 고려해, 각 변수의 위험도(Hazard)에 미치는 영향력(계수) 을 추정에 쓰인다.위험률 비율(Hazard Ratio)은 시간이 지나도 변하지 않는다고 가정한다는 ("Proportional Hazards") 가 주요 목표이다. kaplan-meier 와의 차이구분Kaplan-Meier CurveCoxPHFitter의 생존 함수목적기술(Descriptive)예측(Predictive)의미데이터에 있는 집단 전체의 과거 생존 경험이 어떠했는지 보여줌여러 변수를 고려해 특정 개인의 미래 생존 확률이 어떨지 예측함사용 데이터오직 기간(duration)과 사건(event)기간..
2. 3점 슛이 코트를 지배하는가? 저는 농알못이므로 그냥 재미로만 봐야 합니다.https://www.youtube.com/shorts/6Q-6KyJ3974 이번 데이터는 NBA를 기준으로 합니다. 1. 3점슛의 비중이 얼마나 높아졌는가?3점슛 도입 초기 (1979-1980 시즌): 리그 전체에서 총 7,500번의 야투 시도가 있었고, 그중 3점슛 시도는 단 227번에 불과했으며 성공은 64번에 그침20년 후 (1999-2000 시즌): 리그 전체가 총 7,000번의 야투 시도 중 1,000번 이상의 3점슛을 시도2018-2019 시즌: 3점슛 시도 횟수가 2,600번 이상으로 급증. 이는 1999-2000 시즌 대비 150% 증가 Daryl Mori(대릴 모리)의 영향: 통계에 집착하는 농구 임원인 Daryl Mori는 2014년 D..
1. 영화관은 정말 망해가고 있는걸까? 1. 우리는 왜 영화관을 안갈까?마지막으로 영화관을 간게 10년되었다…(가디언즈 오브 갤럭시가 저의 영화관 마지막 영화…)비싸고, 좁고, 시끄럽고, 두시간동안 돈을 내고 고통받기 싫어서 안가게됨 20년간의 티켓 가격 추이 (일반 좌석 기준)영화진흥위원회에서 해당 데이터를 볼수 있습니다. 연도영화진흥위원회 평균가롯데시네마CGV메가박스20046,3647,000원8,000원7,000원20086,5218,000원9,000원8,000원20096,9709,000원10,000원9,000원20107,83210,000원10,000원10,000원20137,27111,000원11,000원11,000원20147,73812,000원12,000원12,000원20168,03213,000원13,000원13,000원20188,383..
Error: unsupported locale setting File /opt/conda/lib/python3.11/locale.py:626, in setlocale(category, locale) 623 if locale and not isinstance(locale, _builtin_str): 624 # convert to string 625 locale = normalize(_build_localename(locale))--> 626 return _setlocale(category, locale)Error: unsupported locale setting한글 텍스트 분석을 하는 도중 위와 같이 에러가 발생했습니다. 아래 명령어를 통해 셋팅하는 과정에서 발생한 에러입니다.locale.setlocale(locale.LC_ALL, '..
ipynb 파일에는 metadata가 있습니다! 어제 재미있는 에러를 발견해서 (정확히는 나의 실수!) 기록으로 남긴다. 먼저 회사에서의 NES를 통해 파이프라인을 실행하는 도중 notebook 소스를 jupyter에서 수정하고 해당 파일을 airflow에 실행시킨 결과 notebook이 실행과 함께 종료되는 현상이 발견되었다. 아래와 같이 papermill로 파라미터주입은 되었지만, 실행되지 않은체 종료된다. notebook이 에러도 없이 종료가 되어서 서버문제인가 싶어서 서버담당자와 몇시간을 봐도 서로 이해가 가지 않은체 하루가 지나버렸다. 서버담당자가 이상한 로그가 있다면서 notebook 실행할때 커널이 "llm"이라고 뜬다고 한다. "그건 제가 개인 jupyter에서 실행하는 커널인데, airflow 실행시에는 dag에 커널 정보를 않넣었는데..
ubuntu 크롬드라이버 && 크롬 브라우저 설치 링크 사이트 맨날 버전 않맞아서 찾다가 여기에 기록...제발 그만 찾기를...ㅜㅡㅜ https://chrome-versions.com/ Index of / chrome-versions.com https://chromedriver.chromium.org/downloads ChromeDriver - WebDriver for Chrome - Downloads Current Releases If you are using Chrome version 110, please download ChromeDriver 110.0.5481.77 If you are using Chrome version 109, please download ChromeDriver 109.0.5414.74 If you are using Chrome versi..

티스토리툴바