본문 바로가기

전체 글52

Qwen3.8 27B 모델, 내 맥에서 진짜 쓸 수 있을까 Qwen3.8-27B가 dense인데도 MoE급 성능이 나온다는 이야기를 봤습니다. 리더보드를 열어보니 같은 27B급 모델들이 평균 0.51-0.53 사이에 몰려 있고, 이 모델도 그 안에 들어 있더라고요. 27B dense면 제가 쓰는 맥에서도 돌아가는 크기죠. 그래서 자연스럽게 이런 생각이 들었습니다. 이거 실제 업무에 붙일 수 있는 물건인가. 문제는 조건입니다. 제 맥은 M4 Pro 48GB인데, 27B를 BF16으로 올리면 54GB라 애초에 안 들어갑니다. 게다가 통합메모리인 부분을 고려하면 4bit로 양자화한 15GB짜리를 써야 합니다. 그러면 리더보드에 올라온 수치는 원본 정밀도 기준이니까, 내 환경에서 실제로 얼마나 나오는지는 따로 재봐야 하는 것들이 생깁니다. 결국에는 양자화 모델의 벤치마.. 2026. 9. 4.
화면의 시대에서 코드의 시대로 8월 30일 일요일, 어제 도곡동에서 열린 그라파나 밋업에 다녀왔습니다. 발표가 다섯 개였는데 스펙트럼이 되게 넓었죠. 셀프스토리지 스타트업부터 삼성전자 반도체, AI 스타트업까지. 저도 고객사 관측 스택을 LGTM으로 운영하는 입장이라 도구 팁이나 몇 개 주워오자는 마음으로 갔는데, 다녀와보니 이게 도구 얘기가 아니더라고요. 다섯 팀이 전부 다른 문제를 들고 나왔는데 결이 같았습니다. 결국에는 두 가지 질문으로 모이더라고요.그라파나의 경계를 어디에 그을 것인가, 그리고 이 화면들을 누가 읽게 할 것인가. 다섯 개의 발표, 짧은 스케치세컨신드롬의 미니창고 다락 발표는 제목부터 그라파나 그렇게 쓰는 거 아닌데?였습니다. 프론트엔드 리소스가 없어서 그라파나를 읽기 전용 어드민처럼 쓰다가, 쓰기 기능까지 붙였.. 2026. 8. 31.
운영 DB에 쿼리 타임아웃을 걸어야 하는 이유 파라미터 값 하나가 비어 있었고, DB는 엿새에 걸쳐 조용히 죽어갔습니다.쿼리 두 개가 끝나지 않은 채 디스크를 갉아먹는 동안 어떤 로그에도, 어떤 알림에도 흔적이 없었어요.RDS MariaDB 스토리지 고갈 장애를 추적한 과정과, 그 끝에서 내린 결론을 정리했습니다.결론부터 말하겠습니다운영 데이터베이스에는 statement timeout이 걸려 있어야 한다.MariaDB라면 max_statement_time,MySQL이라면 max_execution_time,PostgreSQL이라면 statement_timeout입니다. 이름은 달라도 역할은 같아요. 지정한 시간을 넘긴 쿼리를 강제로 끊는 값이죠. 저는 얼마 전까지 이 값을 필수라고 생각하지 않았습니다. 정상적인 배치가 끊길 수 있으니 함부로 걸면 안 .. 2026. 8. 31.
AI 활용률 92%가 알려주지 않는 것 (FDE는 어떻게 사고해야 하는가) 학생 5천 명에게 AI를 제공했고 활용률은 92%다. 하지만 실제 학습 성과는 불분명하다.다음 학기 AI 운영 전략을 제안하라.며칠 전 저희가 진행했던 해커톤에 참여했던 대학생이 이런 과제를 보여주면서 물었어요.해커톤이 끝난 뒤에도 이 질문이 계속 남아 있었나 봅니다.AI가 난무하는 시대에 이런 탐구정신을 나도 본받고 싶다.AI를 쓰는 과정에서 사람이 진짜 사고했는지, 아니면 그냥 답만 받아 왔는지를 어떻게 구분하냐고요. 되게 좋은 질문이라 오늘은 이 얘기를 좀 해보려고 합니다.AI 활용률은 아무것도 증명하지 않는다AI 활용률 92%라는 숫자를 다시 보죠. 이 숫자는 사람들이 AI 화면을 얼마나 열었는지는 말해주지만, 그 안에서 무슨 일이 있었는지는 하나도 말해주지 않습니다. 문제를 정의하고 AI에게 검.. 2026. 8. 24.

티스토리툴바