무료 오픈소스 3개로 클로드에게 영상 편집 맡기는 기본 세팅

STEP 2 · 5분따라 할 영상을 프레임 단위로 뜯어본다

반응이 검증된 영상 하나를 고릅니다.

같은 폴더에 mp4로 받아 두고, 클로드 코드를 그 폴더에서 연 뒤 아래 프롬프트를 그대로 붙여 넣습니다.

「분석해 줘」 한 줄보다 영상 용어를 넣어야 장면이 쪼개져 나옵니다.

[영상 파일 이름]을 FFmpeg로 12fps로 잘라서 다시 분석해 줘.
Whisper로 대사를 받아 적고, 시간별로 정리해 줘.
장면마다 키프레임, 전환 방식, 자막 위치, 화면에 쓰인 요소를 표로 정리하고,
이걸 그대로 다시 만든다면 어떤 순서로 작업해야 하는지 제작 순서표까지 만들어 줘.

성공하면 프레임을 모은 한 장짜리 시트, 시간별 받아쓰기, 장면표와 제작 순서표가 나옵니다.

20초 릴스면 프레임 40장 안팎, 받아쓰기 10줄 정도입니다.

STEP 3 · 15분분석표대로 장면을 만들고 렌더한다

같은 대화에서 이어서 시킵니다.

내 소재와 대본만 바꿔 넣으면 됩니다.

방금 만든 제작 순서표대로 Remotion으로 세로 1080×1920 영상을 만들어 줘.
소재는 [내 소재], 대본은 아래와 같아.
화면을 설명할 때는 해당 부분을 바로 확대하고 빨간 네모로 표시해 줘.
렌더가 끝나면 FFmpeg로 첫 3초와 마지막 3초를 이미지로 뽑아 보여 줘.

[내 대본]

렌더한 영상에 Whisper로 자막 파일(srt)을 만들고,
한 줄에 2~4어절씩 끊어서 화면 가운데보다 조금 아래에 얹어 줘.

성공하면 프로젝트 폴더의 out에 mp4가 생깁니다.

마음에 안 드는 장면은 「3번 장면 전환을 더 빠르게」처럼 장면 번호로 고치라고 하면 그 장면만 다시 렌더합니다.

자주 막히는 곳

whisper 명령을 못 찾습니다.

pip install이 다른 파이썬에 깔린 경우입니다.

python3 -m pip install -U openai-whisper로 다시 깔고 python3 -m whisper --help로 확인합니다.

Whisper 설치 중 rust 오류가 납니다.

pip install setuptools-rust를 먼저 하고 다시 깝니다.

렌더가 너무 오래 걸립니다.

확인용은 --scale=0.5로 절반 크기로 렌더하고, 마지막에만 원래 크기로 뽑습니다.

FAQ

돈이 드나요? 세 도구 모두 깃허브에 공개된 오픈소스라 내려받아 바로 씁니다.

어떤 영상을 넣으면 좋나요? 반응이 검증된 영상 하나면 충분합니다.

댓글이 많이 달린 릴스처럼 이미 잘된 영상일수록 장면표가 그대로 공식이 됩니다.

코딩을 몰라도 되나요? 됩니다.

Remotion 장면 코드는 클로드 코드가 쓰고, 나는 장면 번호로 고칠 곳만 말하면 됩니다.

공식 참고 자료

• FFmpeg 깃허브
• Whisper 깃허브 — 설치·사용법
• Remotion 깃허브 — 시작하기

함께 보면 좋은 글

• 월 구독료 없이 캡컷 대신 쓰는 무료 영상 편집기 OpenCut 시작 가이드
• 일레븐랩스 없이 내 목소리 복제해 유튜브·릴스 나레이션 만드는 Voicebox 가이드