세계정복의주인장 (1254) 썸네일형 리스트형 [spark] Adaptive Query Execution 실제 spark의 설계를 하다보면 처음에는 균등하게 파티션을 분배하면 되겠지 라고 실행해보면, 실제로는 하나의 파티션이 대부분을 차지하게 되어서 다른 작업들이 밀리는 현상을 보게 된다. 다음은 spark의 실행계획 이미지이다. 왼쪽은 통계 추정으로 만든 초기 계획, 오른쪽은 실행이 끝난 뒤의 최종 계획이다. 최종계획을 보면 Sort 두 개와 SortMergeJoin이 사라지고 BroadcastHashJoin으로 바뀌었다.실행해 보니 오른쪽 테이블이 추정보다 훨씬 작았다는 뜻이다. 새로 나타난 AQEShuffleRead가 AQE 개입 지점이고, 뒤에 붙는 local · coalesced 같은 꼬리표가 무엇을 했는지 알려준다. 이 두 계획의 차이가 곧 AQE다. AQE는 shuffle이 끝난 다음 pa.. [paper] Unskilled and Unaware of It 이번주 정말 쓸데없는 논문은 Kruger & Dunning(1999)의 "Unskilled and Unaware of It"로 심리학에서 유명한 "더닝-크루거 효과" 논문입니다.https://www.researchgate.net/publication/12688660_Unskilled_and_Unaware_of_It_How_Difficulties_in_Recognizing_One's_Own_Incompetence_Lead_to_Inflated_Self-Assessments1. 가정능력이 부족한 사람은 단순히 일을 못하는 데서 그치지 않고, 자신이 못한다는 사실 자체를 인식하지 못한다2. 실험- 100명의 사람들에게 시험을 보게 한 후 본인이 몇 등이 될 것 같은지 물어봄- 하위 25%(최하위) 참가자들은 .. [paper] 알고 사면 싸게 살수 있다! 이번주의 아무거나 컨텐츠는 "알고 사면 싸게 살수 있다!"에 관한 여러 특허 / 논문 내용입니다. (이번주는 논문 내용만 축약해서 갑니다.)1. 사용자 행동에 따른 어플리케이션 액션b8ta(베타)는 미국 체혐형 쇼룸 회사로 제조업체의 상품을 전시 및 판매하는 쇼룸 형태로 사용자들의 모든 행동 데이터를 수집하여, 마케팅에 활용하는 회사였다. (잦은 무장 강도로 쇼룸을 거듭 폐쇄 당했으며, 코로나 때 전매장 철수)1-1. 사용자 행동 데이터온라인 쇼핑몰에서 본 상품, 비교한 상품, 구매하지 않은 상품, 물리 매장에서 본 상품, 재방문 여부 같은 행동을 가격 결정에 사용ex) 사용자가 온라인에서 특정 상품을 봤다면 오프라인 매장에서 10% 할인, 경쟁 상품 2개를 비교 중이면 특정 상품을 20% 할인1-2. .. gh-ost로 무중단 스키마 변경하기 — 500만 건 테이블에서 ALTER TABLE vs gh-ost 직접 비교 실습기 목차왜 gh-ost인가 — 대용량 테이블 ALTER의 문제실습 환경 구성 (Docker Compose)500만 건 데이터 시딩부하 속 일반 ALTER TABLE — INSTANT vs COPYgh-ost로 같은 변경 무중단 수행스로틀링과 인터랙티브 제어cut-over — 최종 테이블 교체의 순간결과 비교와 결론 1. 왜 gh-ost인가 — 대용량 테이블 ALTER의 문제운영 중인 서비스의 수백만~수억 건 테이블에 ALTER TABLE을 실행하면 어떤 일이 벌어질까?MySQL 8.0은 상당수 DDL을 INSTANT/INPLACE로 처리하지만, 컬럼 타입 변경처럼 COPY 알고리즘이 강제되는 변경은 여전히 테이블 전체를 복사하며 쓰기를 막는다. gh-ost는 binlog 기반으로 원본 테이블을 건드리지 않.. gh-ost는 어떻게 무중단으로 스키마를 바꾸는가? https://github.com/github/gh-ost GitHub - github/gh-ost: GitHub's Online Schema-migration Tool for MySQLGitHub's Online Schema-migration Tool for MySQL. Contribute to github/gh-ost development by creating an account on GitHub.github.com 1. 소개gh-ost는 github에서 제작한 MySQL용 트리거리스 온라인 스키마 마이그레이션 솔루션이다. 온라인 스키마 변경 도구들은 모두 비슷한 패턴으로 동작한다. 원본 테이블과 똑같이 생긴 ghost 테이블을 만들고, 비어 있는 그 테이블에 스키마 변경을 먼저 적용한다. 그다음.. [paper] Teaching Claude Why 오늘의 읽을거리 "클로드에세 왜 그런지 가르쳐주기"https://alignment.anthropic.com/2026/teaching-claude-why/1. 문제 제기agentic misalignment(에이전트의 잘못된 방향성)모델이 자기 목표 달성을 위해 해로운 행동을 선택하는것으로1. 자기에게 주어진 목표를 이해함2. 그 목표를 방해하는 장애물을 발견함3. 해로운 행동이 목표 달성에 유리하다고 판단함4. 그 행동이 윤리적으로 문제 있다는 것도 인식함5. 그런데도 실행함이런 패턴을 보이는 경우가 있음. (심지어 모델에 헌법이 적용되어 있는 상태에서도 발생함)예시로는 에이전트에게 '테스트를 모두 통과시켜'라는 목표를 준다면우리가 예측한 행동:- 버그를 찾는다- 코드를 수정한다- 테스트를 추가한다- 실패.. 광고 이벤트 실시간 데이터 파이프라인 구축 — Step 0 광고 이벤트(impression · participate · reward) 데이터로 실시간 데이터 파이프라인을 구축한 기록을 위한 문서이다. 1. 왜 하는가광고 이벤트 데이터의 실시간 파이프라인을 구축한 사례를 문서로 남기려한다. 구축 전에도 실시간 데이터를 적재하고 있었다. 말그대로 적재만 하고 있었다. 실시간 데이터를 한시간에 한번씩 bigquery 에 넣기만 하고, 그에 따른 추가적인 지표는 해당 데이터가 쌓인 다음날 일배치로 다시 생성되는 파이프라인으로 되어 있었다. 실시간으로 데이터를 보는게 아닌, 대시보드 까지 하루가 걸리는 로직이였다. 그래서 데이터를 어떻게 빠르게 분석할수 있는지에 대해서 결국 아키텍처를 뜯어 고쳐야 한다고 생각했다.기존 파이프라인의 문제 (AS-IS)실무 경로는 vendo.. [paper] When Visibility Outpaces Verification: Delayed Verification and Narrative Lock-in in Agentic AI Discourse 오늘의 심심해서 읽은 흥미로운 논문은 가시성이 검증 속도를 앞지를때 When Visibility Outpaces Verification: Delayed Verification and Narrative Lock-in in Agentic AI Discoursehttps://arxiv.org/abs/2602.11412(논문 데이터가 AI게시판을 활용한거일뿐 AI와 전혀 관련 없는 통계 논문입니다.)1. 요약검증되지 않은 정보가 온라인 커뮤니티에서 사실처럼 고착화되는 현상을 분석사람들이 인기(따봉)이 많을수록 사람들은 "다른 사람들이 이미 확인 했겠지" 라는 마인드로 인식적 책임이 확산됨그에 따른 초기 서사 고착에 따른 검증과 증거가 뒤늦게 발견됨- 게시물의 인기가 높을수록 근거나 출처에 대한 요구가 늦게 나.. 이전 1 2 3 4 ··· 157 다음