콘텐츠로 이동

🧠 실험 · 모델 · 추론

ML 척추의 뒷부분입니다: 실험 → (학습) → 모델 → 플레이그라운드(추론). 학습데이터 버전으로 얼린 데이터를 실험·학습으로 소비하고, 학습이 완료된 것만 모델로 등록되며, 등록된 모델은 플레이그라운드가 유일한 추론 구동 경로입니다(별도 serve-applications 경로 없음). "실험을 만들고 싶다", "모델이 어디서 왔는지 보고 싶다", "모델을 돌려보고 싶다"면 이 페이지입니다.

flowchart LR
    A["학습데이터 버전<br/>(training-data)"] --> B["실험"]
    B --> C["학습"]
    C -->|"학습 완료분만"| D["모델 등록"]
    D --> E["플레이그라운드<br/>(유일한 추론 구동 경로)"]
    style D fill:#f9e79f,stroke:#b7950b,color:#000

불변식 — 미리 알아야 할 것

  • 학습은 실험 목적과 연결된 학습데이터 버전만 쓸 수 있습니다.
  • 학습 완료분만 모델로 등록됩니다 — 학습이 끝나지 않은 것은 모델이 될 수 없습니다.
  • mlTask(모델 문제 유형)는 라벨링 작업 Task 와 다른 개념입니다.
  • 정답셋(GT)은 버전으로만 운영되고 직접 삭제 불가 — 학습 이전 단계는 학습데이터(정답셋) 참조.

도구 한눈에

도구 무엇을 할 때 쓰기 여부
list_experiments 실험 목록 조회 읽기
get_experiment 실험 1건 상세 조회 읽기
create_experiment 실험 생성 ✏️ 쓰기(confirm)
update_experiment 실험 이름/설명 수정 ✏️ 쓰기(confirm)
delete_experiment 실험 삭제 (name 일치 필요) ⚠️ 파괴적(confirm)
update_model 모델 이름/설명 수정 ✏️ 쓰기(confirm)
delete_model 모델 삭제 (서빙 중지) ⚠️ 파괴적(confirm)
get_model_lineage 모델 계보(버전·정답셋·조상 모델) 조회 읽기
run_playground 모델을 플레이그라운드(추론 서버)로 구동 ✏️ 쓰기(confirm)

도구 상세

list_experiments

실험(ML 실험·평가) 목록을 조회합니다. 실험을 찾거나 둘러볼 때 호출하세요.

  • 주요 인자: is_archived (보관 여부 필터) · 페이지네이션(cursor/per_page).
  • 함께 보기: 상세는 get_experiment.

get_experiment

실험 1건의 상세를 확인합니다. list_experiments 에서 얻은 id 로 조회하세요.

  • 주요 인자: id (실험 ID).

create_experiment

실험(ML 실험)을 생성합니다. 학습·평가를 시작할 실험 단위가 필요할 때 호출하세요. nametask(실험을 붙일 작업 Task 의 ID)가 필요합니다.

  • 주요 인자: name (이름) · task (작업 Task ID — list_tasks 로 확인) · description (선택).
  • 안전장치: 기본은 dry-run 미리보기(검증만, 미생성) → confirm=true 로 다시 호출해야 실제 생성.

update_experiment

실험의 name/description 을 수정합니다. 실험 이름이나 설명을 정리하고 싶을 때 호출하세요.

  • 주요 인자: id (실험 ID) · name · description.
  • 안전장치: 기본은 dry-run 미리보기(검증만, 미변경) → confirm=true 로 다시 호출해야 실제 수정.

delete_experiment

실험을 삭제합니다. 더 이상 쓰지 않는 실험을 정리할 때만 신중히 호출하세요.

  • 주요 인자: id (실험 ID) · name (실삭제 시 현재 이름).
  • 안전장치: 기본은 dry-run 미리보기(검증만, 미삭제) → confirm=true 로 다시 호출해야 실제 삭제. 실삭제 시 현재 name 을 정확히 전달해야 하며, 불일치 시 거부됩니다.

update_model

🧠 모델의 name/description 을 수정합니다(register_model 완결). 등록된 모델의 이름·설명을 정리하고 싶을 때 호출하세요.

  • 주요 인자: model_id (모델 ID) · name · description.
  • 안전장치: 기본은 dry-run 미리보기(검증만, 미변경) → confirm=true 로 다시 호출해야 실제 수정.

delete_model

🧠 모델을 삭제합니다. 삭제 시 서빙(플레이그라운드)이 중지되며, 이 모델을 만든 플러그인 자체는 유지됩니다. 모델을 정리할 때만 신중히 호출하세요.

  • 주요 인자: model_id (모델 ID).
  • 안전장치: 기본은 dry-run 미리보기(검증만, 미삭제) → confirm=true 로 다시 호출해야 실제 삭제.
  • 함께 보기: 구동 중이던 추론은 run_playground 로 시작한 플레이그라운드입니다.

get_model_lineage

🧠 모델의 계보를 확인합니다 — 이 모델이 어떤 학습데이터 버전·정답셋 소스·조상 모델에서 왔는지를 백엔드가 집계한 재귀 트리로 단일 호출에 반환합니다(여러 조회를 거칠 필요 없음). 절단 보고(truncated/max_depth)가 함께 표시됩니다.

  • 주요 인자: model_id (모델 ID).
  • 함께 보기: 계보에 나오는 학습데이터 버전·정답셋은 학습데이터(정답셋) 에서 조회합니다.

run_playground

🧠 모델을 플레이그라운드(추론 서버)로 구동합니다. 플레이그라운드가 유일한 추론 구동 경로입니다 (serve-applications 경로 없음). 등록된 모델로 추론을 돌려보고 싶을 때 호출하세요.

  • 주요 인자: model_id (모델 ID) · agent (구동할 에이전트의 ID, 정수) · plugin_release · params/envs (구동 파라미터·환경) · workspace_id (선택).
  • 안전장치: 기본은 dry-run 미리보기 → confirm=true 로 재호출해야 실제 구동.
  • 주의: 원격 MCP 는 파일 바이트를 직접 업로드하지 않습니다 — 입력 참조는 out-of-band 업로드 흐름(prepare_data_upload 등)으로 얻은 값을 params/envs 에 넘기세요.
  • 함께 보기: 구동 후 진행·로그 확인은 잡(Jobs) 의 Ray job 도구들 · 중지는 stop_agent_job.