유튜브 AI 팁 보고서 — 2026-09-26 — 오류분석

자막을 읽은 영상 4편 · 이번 팁 12개 · 누적: 팁 689개 / 다룬 영상 184편(후보 등재 1633편)

한눈에

최근 영상 4편에서 오류분석 주제의 AI 활용 팁 12개를 정리했다.

오늘의 팁

1. 오류가 발생한 계층을 좁히고 값이 잘못되는 경계를 찾는다.

• 방법: 시스템을 인증·결제·사용자 프로필처럼 시험 가능한 영역으로 나누고, 의심 영역 → 파일 → 함수 순서로 범위를 좁힌다. 오류 메시지나 실패한 요청에서 호출 경로를 역추적하며 각 계층의 데이터를 확인한다. Claude Code에 스택 트레이스와 관련 코드를 제공하고, 의심 호출 직전에 값과 타입을 출력해 제시된 원인 가설을 확인한다.
• 출처: Debug Large Codebases with Claude Code A Practical Guide — Hired In IT
• 주의점: 분석 결과와 수정안은 가설이다. 특정 사례의 파일·줄 번호 식별이나 분석 속도를 일반적인 성능 보장으로 받아들이지 않는다.

2. git bisect와 재현 테스트로 회귀를 도입한 커밋을 찾는다.

• 방법: git bisect start로 시작하고 현재 실패하는 커밋을 bad, 마지막으로 정상 동작한 커밋을 good으로 지정한다. Claude Code에 재현 테스트를 사용하는 git bisect run 명령 작성을 요청한다. 중간 커밋들의 테스트 결과로 범위를 좁힌 뒤 지목된 커밋의 변경 내용을 검토한다.
• 출처: Debug Large Codebases with Claude Code A Practical Guide — Hired In IT
• 주의점: 정상 기준 커밋과 성공·실패를 판별할 재현 테스트가 필요하다. 제공된 자료에는 실제 저장소에 사용할 테스트 실행 명령이 없다.

3. 기존 테스트에서 기대 동작을 확인하고 실패 재현을 회귀 테스트로 남긴다.

• 방법: 관련 테스트에서 필수 입력, 호출 순서, 기대 출력을 확인한다. Claude Code에 문제 입력으로 실패를 재현하는 테스트 작성을 요청하고, 수정 전 실패와 수정 후 통과를 확인한다. 해당 테스트를 매 push마다 실행하는 CI에 포함하고 실패 시 배포를 중단하도록 연결한다.
• 출처: Debug Large Codebases with Claude Code A Practical Guide — Hired In IT
• 주의점: null 카드로 charge를 호출할 때 ValueError를 기대하는 것은 자료 속 사례의 계약이다. 실제 프로젝트의 기대 동작을 따라야 하며 CI 제품별 설정은 제시되지 않는다.

4. correlation ID로 여러 서비스의 로그를 한 요청 단위로 연결한다.

• 방법: API gateway, 인증 서비스, 결제 서비스, 데이터베이스로 이어지는 요청 경로에서 같은 correlation ID를 각 서비스 로그에 기록한다. 연결된 로그를 Claude Code에 제공해 지연이나 실패가 발생한 서비스를 추적한다. logs로 발생 사건을, metrics로 시간에 따른 상태를, traces로 서비스 간 요청 경로를 함께 확인한다.
• 출처: Debug Large Codebases with Claude Code A Practical Guide — Hired In IT
• 주의점: 식별자 전달과 기록 원칙만 제시되며 프레임워크별 구현은 없다. 로그만으로 항상 정확한 코드 줄까지 특정할 수 있는 것은 아니다.

5. 성능 문제는 profiler로 후보를 찾고 재측정으로 판단한다.

• 방법: profiler 출력을 Claude Code에 제공해 시간이 집중되는 함수와 연산을 설명하게 한다. 자료에서는 중첩 반복과 반복적인 선형 검색을 병목 후보로 보고 hash-based lookup으로 바꾸는 방법을 제안한다. 관련 코드를 검토해 변경한 뒤 profiler를 다시 실행해 실행 시간 변화를 확인한다.
• 출처: Debug Large Codebases with Claude Code A Practical Guide — Hired In IT
• 주의점: hash-based lookup은 특정 사례의 제안이다. 실제 병목과 자료구조의 적합성을 확인해야 하며, 개선 여부는 설명이 아니라 측정 결과로 판단한다.

6. MCP 도구의 정상·빈 결과·실패를 구분하고 부분 실패를 드러낸다.

• 방법: 도구 입력의 매개변수와 타입을 명시하고 정상 결과, 빈 결과, 실패를 구분하는 반환 계약을 정의한다. 전체 12페이지 중 2페이지만 분석했다면 전체 검색 완료로 보고하지 않고 미처리 범위와 실패를 알린다. 에이전트가 이 정보를 받아 재시도하거나 개발자에게 문제를 알리도록 한다.
• 출처: The Three Ways AI Agents Fail. Here's How to Fix Yours. — Dallas Software Developers
• 주의점: 구체적인 응답 스키마나 구현 코드는 없다. 빈 결과와 오류를 모델이 알아서 구분한다고 가정하지 않는 것이 핵심이다.

7. 도구 재시도가 효과를 중복시키지 않도록 멱등성을 점검한다.

• 방법: 같은 작업을 다시 호출해도 효과가 중복되지 않도록 도구를 설계한다. 오류 후 재시도 경로에서 동일 요청의 반복 실행이 같은 결과 상태로 이어지는지 확인한다.
• 출처: The Three Ways AI Agents Fail. Here's How to Fix Yours. — Dallas Software Developers
• 주의점: 멱등성을 구현하는 키나 저장 방식은 제시되지 않는다. 멱등성은 중복 효과를 막는 성질이며 반복 실행을 종료하는 조건은 별도로 필요하다.

8. 검색 누락이 텍스트 부족인지 의존 관계 누락인지 구분한다.

• 방법: 사실 검색에는 RAG를 활용하되, 코드 변경에서 관련 모듈을 놓친다면 텍스트 유사성만으로 찾기 어려운 의존 관계를 살핀다. 필요한 관계가 단순하면 RAG에 단일 홉 의존성 그래프를 추가하고, 구조화된 관계 관리가 필요하면 Knowledge Graph를 검토한다. 자료의 예시는 잔액 모듈과 연결된 당좌 대월 모듈을 함께 확인하도록 관계를 표현하는 것이다.
• 출처: The Three Ways AI Agents Fail. Here's How to Fix Yours. — Dallas Software Developers
• 주의점: 모든 RAG가 관계를 처리하지 못한다고 일반화할 수 없다. 단일 홉 그래프가 여러 단계의 의존성을 모두 포착하는 것도 아니다.

9. 응답에서 빠진 요구사항을 trace로 추적하고 문제가 된 프롬프트를 수정한다.

• 방법: 실패한 실행의 trace를 열고 사용자 요구와 실제 응답의 차이를 구체적으로 설명한다. 자료에서는 eval template만 반환되고 오류 범주와 주요 문제 설명이 빠진 원인을 분석해, template만 출력하도록 제한한 system prompt를 찾아냈다. 이어 해당 프롬프트를 playground로 가져가 prompt optimizer로 누락된 설명을 제공하도록 수정하는 흐름을 소개한다.
• 출처: How we debug AI agents using AI agents (real trace debugging workflows) — Arize AI
• 주의점: 도구 이름은 영상 설명에서 Alyx, 자막에서 Alex로 표기된다. 수정 문구, optimizer 설정, 수정 후 회귀 검증 절차와 다른 시스템에 연결하는 방법은 제시되지 않는다.

10. 실패 trace를 의미별로 분류하고 관련 span에서 원인을 확인한다.

• 방법: 오류가 포함된 trace들을 모아 오류 분류를 요청한다. 에이전트가 오류 내용을 의미적으로 읽어 범주를 만들고 관련 span에 할당하면, 범주별 사례를 열어 실패 이유를 살펴본다.
• 출처: How we debug AI agents using AI agents (real trace debugging workflows) — Arize AI
• 주의점: 사용자에게 표시된 포괄적인 오류 문구보다 내부 trace를 활용한 사례다. 구체적인 열 이름, 최종 범주 목록, 분류 정확도는 확인되지 않는다.

11. 도메인 전문가와 원문을 읽으며 자유 메모부터 오류분석을 시작한다.

• 방법: CSV·JSON·JSONL 대화 데이터를 에이전트에게 읽혀 검색과 필터가 있는 뷰어를 만든다. 전문가와 사례를 함께 읽으며 사용자 의도와 상태 정보가 잘 보이도록 조정한다. 사례별 notes 필드를 추가해 JSON 파일에 저장하고, 실패 유형을 이해한 뒤 pass/fail, 실패 이유·분류, 라벨 결과 내보내기를 추가한다. 검토 중 드러난 도구의 불편함은 코딩 에이전트로 수정하며 검토를 이어간다.
• 출처: Paired Error Analysis With AI Agents — Hamel Husain
• 주의점: 시연자는 해당 데이터셋의 도메인 전문가가 아니었다. 자동 지표나 LLM as a judge를 만들기 전에 수동 검토를 하라는 조언이며, 충분한 검토량의 수치 기준은 없다.

12. 모델 오류와 제품 설계 문제를 구분해 개선 우선순위를 정한다.

• 방법: 대화 원문과 저장된 상태를 함께 읽으며 이미 받은 정보를 다시 묻는지, 식별자나 예약 참조번호만 제공해 다음 행동이 어려운지 기록한다. 식당 후보에는 선택 버튼이나 widget, 예약 시간에는 이용 가능한 시간을 보여주는 picker, 참조번호에는 실제 사용할 수 있는 링크가 필요한지 검토한다. 비슷한 사례를 더 읽어 정보 표시와 조작 방식의 개선을 우선할지 판단한다.
• 출처: Paired Error Analysis With AI Agents — Hamel Husain
• 주의점: widget·picker·링크는 제안된 개선안이며 효과가 검증된 것은 아니다. 상태에 정보가 있어도 모델에 전달됐는지는 확인되지 않아 재질문의 기술적 원인을 단정할 수 없다.

오늘의 영상

• Debug Large Codebases with Claude Code A Practical Guide — Hired In IT · 업로드 2026-08-10
• 조회 80 · 좋아요 미확인 · 댓글 미확인 · 채널 구독자 1,470 (조회 시점: 2026-09-26T12:49:40.336894+00:00)
• The Three Ways AI Agents Fail. Here's How to Fix Yours. — Dallas Software Developers · 업로드 2026-09-10
• 조회 23 · 좋아요 미확인 · 댓글 미확인 · 채널 구독자 1,100 (조회 시점: 2026-09-26T12:49:47.273029+00:00)
• How we debug AI agents using AI agents (real trace debugging workflows) — Arize AI · 업로드 2026-05-13
• 조회 490 · 좋아요 미확인 · 댓글 미확인 · 채널 구독자 9,450 (조회 시점: 2026-09-26T12:49:45.971850+00:00)
• Paired Error Analysis With AI Agents — Hamel Husain · 업로드 2026-04-27
• 조회 1,114 · 좋아요 32 · 댓글 미확인 · 채널 구독자 미확인 (조회 시점: 2026-09-26T12:49:44.637731+00:00)

다음 주제 후보

회귀검증

이 호의 한계

• 자막을 바탕으로 정리했다. 영상 화면과 팁의 효과를 직접 확인하지 않았다.