모든 글 · 8쪽
전체 글 292편 중 85–96번째 글이다. 최신 글이 앞에 있다.
8쪽 글 목록
292편 중 85–96
"오픈워싱"이라는 말이 따로 생겼다
Radboud University의 Liesenfeld와 Dingemanse는 2023년 "Opening up ChatGPT" 리더보드에서 결과 하나를 냈다. BLOOMZ가 가장 openness가 높고, Llama 2가 자칭 "오픈" 모델 중 가장…
오픈소스라고 부르면 법이 봐준다
EU AI Act Article 2(12)는 자유·오픈소스 라이선스로 배포된 AI 시스템을 원칙적으로 법 적용 대상에서 뺀다. 단, 고위험이거나 Article 5(금지 관행)·Article 50(투명성 의무, 예: 챗봇·딥페이크 고지) 대상이면 예외…
레시피 없이 완성된 요리만 감사해 달라는 요청이다
데이터가 없으면 편향·저작권 포함물·암기(memorization) 문제를 독립적으로 검증할 길이 없다. 완성된 케이크는 봐도 되지만 레시피는 못 보는 셈이다. 학술 재현성도 같은 벽에 부딪힌다. 논문의 성능 주장을 데이터 없이는 검증할 수 없다.
포크할 권리와 그 한계
오픈웨이트만 있어도 셀프호스트와 파인튜닝은 실질적인 자유다. 데이터센터가 없는 회사도 이 가중치를 가져다 자기 데이터로 계속 학습시키거나 도메인에 맞게 튜닝할 수 있다. 클로즈드 모델로는 아예 불가능한 일이다.
느린 쿼리 1등을 고쳤는데 왜 그대로일까
느린 쿼리 1등을 3초에서 0.5초로 줄였는데 서비스 체감은 그대로였다. 하루 500만 번 도는 50ms 쿼리가 총 69시간. 진짜 짐은 그쪽이었다.
쿼리는 그대로인데 조인이 100배 느려졌다
쿼리도 인덱스도 그대로인데 리포트 쿼리가 어느 날부터 100배 느려졌다. EXPLAIN 을 보니 조인 순서가 뒤집혀 있었다. 뒤집힌 이유는 조인이 아니라 행 수 추정에 있었다.
Index Scan 이라고 찍혔는데 왜 3초나 걸릴까
EXPLAIN 에 인덱스 스캔이 찍혔는데도 쿼리가 3초씩 걸린다. 인덱스를 타는 건 시작일 뿐이다. 시간이 어디로 새는지는 계획 아래 숫자 몇 개가 말해 준다.
다시 만들었더니 인덱스가 절반이 됐다, 인덱스 팽창
테이블은 그대로인데 인덱스만 몇 달에 걸쳐 조금씩 커진다. 다시 만들어 보면 크기가 절반으로 줄기도 한다. 그동안 늘린 서버 비용이 사실은 빈 공간 값이었다.
COUNT(*) 는 결국 다 세는 일이다
목록 스무 개는 10ms 에 나오는데 전체 개수를 세는 데는 3초가 걸린다. 인덱스를 더해도 크게 안 준다. 이 비용은 구조에서 나온다. 고칠 곳은 쿼리보다 화면 쪽일 때가 많다.
NOT IN 결과가 0건, 범인은 NULL 하나
NOT IN 으로 걸렀는데 에러도 없이 결과가 0건이다. 데이터는 분명히 있는데. NULL 하나가 결과를 통째로 비우고, DB 를 옮기면 정렬 순서까지 바뀐다.
OR 하나 붙였더니 인덱스를 안 탄다
검색 조건에 OR 하나를 더했을 뿐인데 쿼리가 갑자기 느려진다. AND 로 바꾸면 멀쩡하다. 어떤 OR 은 괜찮고 어떤 OR 만 탈이 나는지는 같은 컬럼이냐 다른 컬럼이냐로 갈린다.
조건에 맞는 글이 없다. 브루니가 숨었나 보다.