AI 답변 코드 추출 — 코드 블록만 뽑아 파일로 저장하기, 정규식 한 줄이 놓친 3가지 (실측)

AI 답변 코드 추출 — 코드 블록만 뽑아 파일로 저장하기, 정규식 한 줄이 놓친 3가지 (실측)

ChatGPT나 Claude에게 스크립트를 부탁하면 답변 한 번에 코드 블록이 서너 개씩 섞여 나옵니다. 설치 명령, 본 코드, 설정 파일, 실행 예시가 설명 문단 사이사이에 끼어 있어서, 매번 블록마다 복사 버튼을 누르고 새 파일을 만들고 이름을 붙이는 일을 반복하게 됩니다. 이번 글에서는 AI 답변 코드 추출을 파이썬 표준 라이브러리만으로 자동화해, 마크다운으로 저장한 답변에서 코드 블록만 골라 … 더 읽기

프롬프트 템플릿 관리 — 파일로 빼고 변수만 채워 쓰기, 치환 방식 6가지 비교 (실측)

프롬프트 템플릿 관리 — 파일로 빼고 변수만 채워 쓰기, 치환 방식 6가지 비교 (실측)

이 블로그는 매일 AI에게 같은 지시문을 보내 글을 씁니다. 그 지시문 1,601자는 PowerShell 스크립트 안에 문자열로 들어 있고, 날짜만 바꿔 씁니다. 이걸 프롬프트 템플릿 관리 방식으로 파일에 옮겨 보면서, 변수를 채우는 방법 6가지를 같은 시험 8개에 넣어 비교했습니다. 결과가 갈린 지점은 속도가 아니었습니다. 변수 이름에 오타가 나면 6가지 중 3가지는 오류 없이 빈 자리를 그대로 … 더 읽기

AI가 쓴 글 점검 스크립트 — 문장 길이·반복 표현을 숫자로 재기 (실측)

AI가 쓴 글 점검 스크립트 — 문장 길이·반복 표현을 숫자로 재기 (실측)

AI가 쓴 글은 한 편씩 읽으면 멀쩡해 보입니다. 어색함은 여러 편을 이어 읽을 때 드러나는데, 그걸 눈으로 찾기는 어렵습니다. 그래서 AI 글 반복 표현 점검 스크립트를 파이썬 표준 라이브러리만으로 만들어, 이 블로그 원고 76편(문장 5,681개)을 재 봤습니다. 이 블로그는 Claude로 원고를 쓰기 때문에 제 글이 곧 실험 대상입니다. 결과는 예상과 달랐습니다. 제가 미리 고른 상투어 … 더 읽기

AI 답변 캐시 — 같은 질문을 두 번 보내지 않게 SQLite에 저장하기 (실측)

AI 답변 캐시 — 같은 질문을 두 번 보내지 않게 SQLite에 저장하기 (실측)

문서 수십 개를 AI에게 하나씩 요약시키는 스크립트를 돌리다가 중간에 오류로 멈추면, 다시 돌릴 때 이미 받은 답까지 처음부터 또 요청하게 됩니다. 시간도 들고, 유료 API라면 같은 답에 돈을 두 번 냅니다. AI 응답 캐시는 이 문제를 막는 가장 간단한 장치입니다. 질문을 키로 삼아 답을 SQLite 파일에 저장해 두고, 같은 질문이 다시 오면 AI 대신 파일에서 … 더 읽기

마크다운 표 CSV 변환 — AI 답변 속 표를 파이썬으로 CSV·엑셀 파일로 바꾸기 (실측)

마크다운 표 CSV 변환 — AI 답변 속 표를 파이썬으로 CSV·엑셀 파일로 바꾸기 (실측)

ChatGPT나 Claude에게 “표로 정리해 줘”라고 하면 답변은 | 지점 | 매출 | 같은 마크다운 표로 옵니다. 화면에서는 보기 좋지만 엑셀로 옮기려고 복사해 붙여 넣으면 한 칸에 줄 전체가 들어가거나 세로 막대가 그대로 남습니다. 이 글에서는 마크다운 표 CSV 변환 스크립트를 파이썬으로 만들어, AI 답변 텍스트를 통째로 넣으면 표만 골라 CSV와 엑셀(xlsx) 파일로 저장하는 과정을 직접 … 더 읽기

개인정보 마스킹 파이썬 — AI에 문서 넣기 전 전화·이메일·주민번호를 정규식으로 가리고 되돌리기 (실측)

개인정보 마스킹 파이썬 — AI에 문서 넣기 전 전화·이메일·주민번호를 정규식으로 가리고 되돌리기 (실측)

고객 문의나 상담 기록을 ChatGPT·Claude 같은 AI에 붙여 넣고 “정리해 줘”라고 하면 편하지만, 그 안의 전화번호·이메일·주민번호까지 그대로 외부 서비스로 나갑니다. 이 글에서는 개인정보 마스킹 파이썬 스크립트를 표준 라이브러리만으로 만들어, 보내기 전에 개인정보를 [전화_1] 같은 토큰으로 바꾸고 AI 답변이 돌아오면 원래 값으로 되돌리는 과정을 직접 돌려 봅니다. 처음 실행에서는 16자리 주문번호가 카드번호로 잘못 분류됐고, 인터넷에 흔한 … 더 읽기

RAG 원리 — AI 문서 검색을 TF-IDF 검색기로 직접 만들어 보기, 내 블로그 68편에서 질문 15개 실측

RAG 원리 — AI 문서 검색을 TF-IDF 검색기로 직접 만들어 보기, 내 블로그 68편에서 질문 15개 실측

사내 문서나 매뉴얼을 넣어 두고 “우리 자료 기준으로 답해 줘”라고 하는 AI 서비스는 대부분 RAG(검색 증강 생성) 방식입니다. 이름은 어렵지만 RAG 원리는 단순합니다. 질문과 관련 있는 문서 조각을 먼저 찾고, 그 조각만 질문과 함께 AI에 넘깁니다. 문서 전체를 넣을 수 없으니 “무엇을 골라 넣느냐”가 답의 품질을 좌우합니다. 그래서 그 검색 부분을 파이썬 표준 라이브러리만으로 직접 … 더 읽기

프롬프트 토큰 수 미리 세기 — 글자 수 어림과 실제 차이 실측 (tiktoken)

프롬프트 토큰 수 미리 세기 — 글자 수 어림과 실제 차이 실측 (tiktoken)

AI에 긴 문서를 넣기 전에 “이게 몇 토큰이지?”를 글자 수로 어림하는 경우가 많습니다. 흔히 듣는 기준이 “4글자에 1토큰”인데, 한글 글에서는 크게 빗나갑니다. 이 블로그에 실제로 발행한 한글 원고로 토큰 수 계산을 tiktoken으로 해 보니, 4글자=1토큰으로 어림한 값은 실제의 절반 정도(-42~-53%)였습니다. 영어 문서에서는 +16%로 꽤 맞았는데도요. 이 글에서는 tiktoken 설치와 처음 만난 SSL 오류, 글 종류별 … 더 읽기

AI 코드 검증 — AI가 짠 파이썬 코드, 실행 전에 위험한 줄 자동 점검하기 (실측)

AI 코드 검증 — AI가 짠 파이썬 코드, 실행 전에 위험한 줄 자동 점검하기 (실측)

ChatGPT나 Claude에게 “다운로드 폴더 정리 스크립트 짜 줘”라고 하면 몇 초 만에 그럴듯한 코드가 나옵니다. 문제는 그 코드를 끝까지 읽지 않고 바로 실행하는 습관입니다. 수십 줄 중 한 줄에 shutil.rmtree나 shell=True가 숨어 있으면, 실행하고 나서야 알게 됩니다. 이 글에서는 AI 코드 검증의 첫 단계로, 코드를 실행하지 않고 위험한 줄만 골라 줄 번호와 함께 알려 주는 … 더 읽기

문서 중복도 측정으로 AI가 쓴 글이 서로 얼마나 겹치는지 재보기 (n-gram 유사도)

AI에게 블로그 글을 맡기다 보면 어느 순간 이상한 기시감이 듭니다. 주제는 분명히 다른데 도입부 흐름이 똑같고, 예제 코드의 변수명까지 비슷합니다. 이 블로그도 글이 57편을 넘어가면서 같은 고민이 생겼습니다. 문제는 사람 눈으로는 이걸 확인할 수가 없다는 겁니다. 57편이면 서로 비교해야 할 조합이 1,596쌍입니다. 한 쌍을 1분씩만 봐도 26시간이 넘습니다. 그래서 이번 글에서는 문서 중복도 측정을 직접 … 더 읽기