For the English article, watch the end of Korean version.

주어진 명령에 따라 비디오, 오디오, 텍스트를 만들어내는 생성AI(Generative AI)는 할리우드를 바꾸고 있다. 최근 오픈AI(Open AI)가 공개한 소라(Sora)는 창작 업계를 긴장시키기 충분했다.

프롬프트(Prompt)만 입력하면 1분 이내의 영상을 만들어주는 T2V(Text to Video) 모델인 소라는 일반 카메라로 녹화된 영상이라고 해도 믿을 정도의 완성도를 보여줬다.

소라는 메타(Meta)나 구글(Google),  AI비디오 스타트업 런웨이(Runway),  피카 랩스(Pika Labs) 등이 공개한 AI비디오 생성툴과 유사한 툴이다. 그러나 그동안의 기술 발전을 AI재현 수준에서 한단계 업그레이드됐다. 악시오스는 이에 대해 소라는 ‘와우(Wow factor)’팩터를 강화했다고 밝혔다.

기존 생성AI 기반 비디오 제너레이터의 경우 복잡한 장면을 정확히 시뮬레이션하는 데 어려움이 있었다. 특히, 원인과 결과를 이해하지 못하는 경우가 많았다. 오픈AI는 소라 AI가 이런 비디오 생성 솔루션들의 약점을 상당히 보완했다.

소라는 다양한 여러 캐릭터, 특정 유형의 움직임, 피사체와 배경의 정확한 디테일이 담긴 복잡한 신(complex scenes)을 만들어낼 수 있다.  

소라는 할리우드와 동영상 크리에이터 시장을 크게 흔들 것으로 보인다. 소라뿐만 아니라 런웨이(Runway), 피카(Pika)와 같은 텍스트 기반 영상 생성 AI가 현실화되어 있다. 앞으로  AI가 콘텐츠 기획, 제작, 편집까지 담당하는 ‘AI프로덕션(AI Production)’이 본격화될 수 있다.

소라가 만든 영상은 영화처럼 느껴진다. 이에 대해 와이어드(Wired)의 스티븐 레비(Steven Levy)는 ‘영화적인 문법의 완벽한 이해(an emergent grasp of cinematic grammar)’라고 말했다. 같은 디뷰전 모델이었던 달E(Dalle-3) 등과 완전히 차원이 다르다는 이야기다.

오픈AI가 “AI에게 물리적인 세계를 이해하고 동작을 시뮬레이션할 수 있도록 교육하고 있다”는 말이 빈말이 아닌 것처럼 보였다. (We're teaching AI to understand and simulate the physical world in motion," OpenAI's article introducing Sora declared) 운동과 중력, 시간에 따른 연속성, ‘당신은 계란을 깰 수 있다” 등 어린이가 생활속에서 배우는 기본적인 물리학을 소라도 배우고 있다.

이에 대해 악시오스는 달E(Dall-E)가 버추얼 아티스트에게 고민을 안겨주고 챗GPT가 영혼 검색과 소송(실제 왕좌의 게임의 조지 R.R 마틴은 저작권 침해 소송 진행)을 불러왔다면 소라는 “영화 제작자들에게 전율과 소름을 선사했다고 밝혔다. 값비싼 특수 효과와 버츄얼 이펙트도 소라 하나면 PC로 가능하다.

오픈AI의 기술력에 대해 의심하는 목소리도 있다. 소라의 전체 능력을 보지 못한 상황이기 때문에 미드저니(Midjourney)나 다른 툴과 큰 차이가 없다고 말하는 사람들도 있다.또 다른 AI툴과 마찬가지로 크리에이터 저작권 침해와 환각(Hallucinates)을 만들어낼 수도 있다.

동시에 소라(Sora)는 시각 미디어 창작 활동에서 인간의 역할을 고민하게 만든다.  그러나 AI시대에도 인간의 역할은 분명히 있다. 창작의 시작과 끝은 사람이 담당할 수 밖에 없다. 사람의 온기가 담긴 작품은 AI의 최첨단 기술이 탑재된 작품보다 더 큰 인기를 끌 것은 자명하다. 하지만, AI는 분명히 인간의 창의력을 확대하고 제작 과정을 민주화할 수 있다.

AI를 이용, 할리우드 크리에이터들을 도와주는 창작 툴은 상당히 발전해 있다. 사이버필름(Cyber Film)의 사라(Saga)도 그 중 하나다. 사라는 AI를 이용해 각본 초안을 쓰고 이를 다양한 장르와 스타일(작가)로 구성해주는 AI작가 솔루션이다. 다이렉트미디어랩은 2024년 1월 초 사이버필름의 CEO 러셀 팔머(Russell Palmer)를 온라인 인터뷰했다.

[작가들의 창작 활동을 돕는 사이버필름]

사라를 만든 사이버필름은  AI를 이용해 영화제작자들이 스토리보드(Storyboard)나 각본(Script)을 만드는 작업을 돕는다. 이 회사의 목적은 사람 작가나 영화 제작자를 AI로 대체하는 것이 아니다. AI가 작가들의 창작 활동을 도우면서 창의력을 극대화하는데 도움을 주겠는 것이다. 대량 자본 없이도 영화나 TV를 만들수 있도록 영화 제작 과정을 민주화하는  역할도 있다.

삼성전자, 마이크로소프트 AI개발자 출신인 CEO 러셀 팔머(Russell Palmer)는  2021년 사이버필름을 만들고  2023년 핵심 솔루션인 사가(Saga)를 개발했다. 사가(Saga)의 첫 번째 기능은 시나리오 제작 도우미다.

사가를 이용하면 작가들은 캐릭터 설정, 장르, 스토리 기본 구성까지 도움을 받을 수 있다. 간단한 프롬프트만 입력하고 다양한 설정을 정리하면 새로운 작품 생성이 가능하다. 이를 통해 작가들은 기본 드래프트를 만들 수 있다.

미국 캘리포니아 샌프란시스코에 기반을 둔 사이버필름과의 인터뷰는 구글 미트(Google Meet)로 진행했다.

팔머는 인터뷰의 상당 시간을 AI 작가 솔루션은 인간의 일자리를 줄이려는 것이 아니라 오히려 ‘작가들이 더 좋은 작품을 쓰도록 돕기’ 위해 만들어졌다고 강조했다. 특히, 스트리밍 시대, 작가들이 자신들의 작품이 글로벌 오디언스와 만날 수 있도록 한국어 등 다양한 언어로 번역이 가능하다고 설명했다.  영화 산업이 성장하고 있는 한국, 인도, 나이지리아, 사우디아라비아 같은 국가에서 독립 영화 제작자를 지원하는 역할을 할 수 있다고 설명했다.

[영화 제작자들을 위한 ‘대본 닥터(script doctor)’]

사이버필름의 사라는 러셀 팔머가 동생이자 영화 감독, 작가인 앤드류 팔머(Andrew Palmer)와 함께 만들었다. 때문에 할리우드 현장과 AI기술을 모두 잘 이해한다. 사가는 종합 대본 작성과 스토리보드 제작 기능을 제공한다. 이에 완벽한 '대본 닥터'이자 글쓰기 동반자(script doctor" and writing companion)’ 라는 것이 사이버필름의 설명이다. AI학습 모델인 만큼 ‘오징어게임’ 등 유명 작품이나 장르 스타일의 각본을 쓰는 것도 가능하다.

이 앱은 사용자가 대본을 만들고, 캐릭터를 개발하고, 기존 작품을 기반으로 독창적인 플롯을 만들 수 있도록 안내한다. 미국 드라마  '브레이킹 배드(Breaking Bad)'와 '베터 콜 사울(Better Call Saul)'의 프로듀서인 스튜어트 라이언스(Stewart Lyons)는 보도자료에서 사가를 극찬하며 “당신이 필요한 질문을 던진다(It asks the questions you need the answers for)”고 말했다.  에코바(Ekkobar) CEO이자 신크로나이즈(Scenechronize)의 공동 제작자인 리스 라이언(Rhys Ryan)은  “사용자가 협업으로 매력적인 이야기를 만들 수 있는 훌륭한 글쓰기 파트너"라고 설명했다.

강력한 각본 작성 기능 외, 사용자들은 AI를 활용해, 자신들의 생각하는 컨셉이 담긴 스토리보도도 만들어낼 수 있다. 자신들의 내러티브가 화면으로 잘구현되는 지를 예측해 볼 수 있는 것이다. 기존 컨셉 아티스트가 있어야 가능했던 일인데 비용이 한정적인 독립 제작자들에게는 아주 매력적인 기능이 될 수 있다.

러셀 팔머는 “사이버필름 AI가 가장 중요하게 생각하는 것은 생성AI가 인간을 대체하는 것이 아닌 창작 활동을 보강하는 역할(CyberFilm AI envisions a future where generative AI strengthens the creative landscape, augmenting human intelligence without replacing it)”이라고 말했다.

사가는 업계 전문가나 독립 창작자, 학생 등 모든 사람들이 영화 제작에 참여할 수 있게 하는 것이 목표다. 이를 통해 오히려 더 많은 일자리를 창출해, 전 세계 영화 업계를 성장시키는 것을 바라고 있다. 팔머 CEO는 “미디어, 엔터테인먼트, 영화 산업이 AI의 긍정적인 면을 잘 활용한다면 산업이 향후 10년 뒤에는 현재보다 100배 이상 커질 것”이라며 “엄청난 영화들이 매일 쏟아질 수 있다”고 말했다. 비용 절감 효과는 물론이다.

[작품 소유권 100% AI 사용자 인정]

창작과 관련된 기술인 만큼, 데이터 소유권, 개인 정보 보호를 가장 우선시하고 있다.

제작자가 생성된 이미지와 텍스트에 대한 완전한 소유권을 유지하고 앱에서 제작한 콘텐츠의 경우 AI모델을 재교육하는데 사용하지 않는다 사이버필름은 “ 최초의 아티스트 친화적 AI 기업이 될 것”이라고 말했다. (The company aspires to be one of the first artist-friendly AI companies)

사이버필름은 글로벌 진출을 위해 한국어 등 지원 언어를 40개 이상으로 확대하는 Bloom이라는 모델을 계획하고 있다.  팔머 CEO는 “올해 안에  한국어 지원이 가능할 것’이라고 밝혔다. 또  사가에 애니메이션 기능을 탑재하고 소라처럼 실사 합성 비디오(photo-realistic synthetic video) 제작을 지원해 사용자가 소셜 미디어 용 단편 영화나 콘텐츠를 바로 제작할 수 있도록 할 계획이다.

사라는 월 19.99달러(www.WriteOnSaga.com)로 이용할 수 있으며 3일간 무료로 써볼 수 있다. 러셀 팔머 CEO는 “독립 영화 제작자는 할인이나 AI서비스 쿠폰을 받을 수 있다”며 “ 더 많은 사람이 할리우드에 진출할 수 있도록 지원하는 데 중점을 두고 있다”고 언급했다.

[AI시대에도 인간이 만든 콘텐츠는 영원할 것]

팔머 CEO는 AI가 일부 사람들이 싫어하거나 건강에 해로운 일자리를 대체할 것이라고 말했다. 그러나 AI시대에도 인간의 역할은 분명히 존재하고 인간 작업의 매력을 영원할 것이라고 강조했다.

팔머 CEO는 “인간이 진정으로 만든 영화라면 AI의 도움을 받아도 AI가 만든 영화보다 더보고 싶은 영화가 될 것이라고 믿는다”며 “ 사람들은 인간의 영혼과  마음이 담긴, 인간의 경험과 느낌에 의해 연출되는 영화를 보고 싶어 하기 때문”이라고 말했다.

이에 그는 AI가 할리우드에서 일자리를 대체하거나 일자리를 줄이는 일은 결코 일어나지 않을 것이라고 생각한다고 설명했다. 팔머 CEO는 “AI를 이용하면 오히려 영화를 만드는 사람이 10배 더 많아질 수도 있다고 생각한다. 다만 모두 할리우드에만 있지는 않을 것이다. 전 세계 곳곳에서 영화를 만들 것”이라고 강조했다.

특히, 그는 AI가 할리우드 영화 제작 작업과 유통 체계를 민주화할 수 있을 것으로 내다봤다. 그는 할리우드 영화 산업은 매우 제한적으로 성장했다. 영화관이 너무 적었고 비디오 대여점(블록버스터)에서 영화를 전시할  공간도 한정되어 있었기 때문에 어떤 영화를 만들지 매우 신중하게 선택해야 했다고 말했다.

하지만 테크놀로지가 적용된 할리우드는 달라지고 있다고 말했다. 그는 “이제는 모든 것이 클라우드에 있다. 모든 사람의 영화를 위한 무한한 공간이 있다”며 “뿐만 아니라 AI가 사용자가 보고 즐긴 영화에 대한 선호도를 파악할 수 있다. 스코틀랜드에 여러분이 좋아할 만한 영화를 만든 영화감독이 있을 수도 있고, 과거엔 볼 수 없었지만 이제 넷플릭스나 유튜브가 여러분을 완벽하게 타겟팅할 수 있다는 것을 알 수 있다”고 설명했다.

그는 “AI가 일자리와 엔터테인먼트 미디어 산업을 성장시킬 것이라고 생각한다”고 말했다. 팔머 CEO는 “요즘 아이들이 틱톡과 유튜브, 넷플릭스에서 동영상을 보는 것보다 더 좋아하는 것은 없다. AI로 인해 만약 콘텐츠가 100배 더 많아지고 매일 놀랍고 삶을 바꾸는 영화가 나온다고 상상해 보라”며 “앞으로 엔터테인먼트 미디어 산업은 현재 2조 달러 규모에서 10년 후에는 20조 달러 이상으로 성장할 수 있다고 생각한다”고 덧붙였다.

사이버필름(CyberFilm)은 프리 시드 투자를 받은 뒤 현재 회사 성장을 위한 투자 유치에 집중하고 있다.  투자금으로 스크립트 커버리지(Script Coverage)와 같은 자체 모델을 구축할 계획이다. 영화 대본이 완성되면 이를 검토하고 피드백을 제공할 수 있는 서비스다.  사이버필름은 투자 이후 데이터 과학자와 더 많은 머신 러닝 엔지니어를 채용할 계획이다.

팔머 CEO는 “올해 2월과 3월 상반기 시드 또는 시리즈 A 라운드 펀딩을 진행할 계획이라며 관심있는 투자자들은 연락을 부탁한다”며 “ 현재는 지금은 3명(2024년 1월)이지만 5명에서 10명까지 직원을 늘리려고 한다”고 말했다.

AI is getting more creative, pushing human creativity to the limit.

Generative AI - the ability to create video, audio, and text on command - is changing Hollywood. The recent unveiling of Sora by Open AI was enough to make the creative industry nervous. Sora, a text-to-video (T2V) model that creates videos in less than a minute by typing prompts, looks so good that it could have been recorded with a real camera.

Sora is similar to other AI video creation tools such as Meta, Google, and AI video startups Runway and Pika Labs. However, it takes the technology to the next level of AI realization. Sora enhances the "wow factor," Axios says.

Previous generative AI-based video generators have struggled to accurately simulate complex scenes, especially when it comes to understanding cause and effect. OpenAI's Sora AI addresses many of the weaknesses of these video generation solutions.

Sora can create complex scenes with many different characters, specific types of movement, and precise details of subjects and backgrounds.  Sora is set to shake up Hollywood and the video creator market in a big way. Not only Sora, but text-based video creation AI like Runway and Pika are already a reality. In the future, AI production, where AI is responsible for content planning, production, and editing, could be in full swing.

Sora's videos feel like movies. Wired's Steven Levy called it "an emergent grasp of cinematic grammar." It's a far cry from its predecessor, Dalle-3, which was a completely different beast. (We're teaching AI to understand and simulate the physical world in motion," OpenAI's article introducing Sora declared.)

Sora is learning basic physics that children learn in their daily lives, such as motion and gravity, continuity over time, and "you can break an egg."

Dall-E has given virtual artists headaches,  and ChatGPT has caused soul-searching and lawsuits (the real-life Game of Thrones author George R.R. Martin is suing for copyright infringement), Sora has given "filmmakers shivers and trills," Axios said. Expensive special effects and virtual effects can be done on a PC with a single conch.

Some people are skeptical about OpenAI's technical capabilities. Some say it's no different from Midjourney or other tools because we haven't seen Sora's full capabilities, and like any other AI tool, it can infringe on the creator's copyright and hallucinates error.

At the same time, Sora makes us think about the role of humans in visual media creation.  But even in the age of AI, there is still a role for humans. People are the ones who start and end the creative process. The human touch will always be more popular than the most advanced AI technology. However, AI can certainly amplify human creativity and democratize the creative process.

There are some very advanced creative tools that use AI to help Hollywood creators. Cyber Film's SARA is one of them. SARA is an AI writer solution that uses AI to draft screenplays and organize them into different genres and styles (writers). DirectMediaLab conducted an online interview with Russell Palmer, CEO of Cyberfilm, in early January 2024.

[Cyberfilm uses AI to help writers create]

Cyberfilm, the company behind Sara, uses AI to help filmmakers create storyboards and scripts. The company's goal is not to replace human writers or filmmakers with AI. The idea is that AI will help writers maximize their creativity by assisting them in their work. It can also democratize the filmmaking process, allowing people to make movies and TV without the need for large amounts of capital.

(5509) Saga personal recommendation - YouTube

CEO Russell Palmer, a former Samsung Electronics and Microsoft AI developer, launched Cyberfilm in 2021 and developed its core solution, Saga, in 2023. Saga's first feature is a screenwriting assistant.  

Saga helps writers create characterization, genre, and story arcs. By typing in simple prompts and organizing different settings, you can create a new work. This allows writers to create a basic draft.

DirectMediaLab spoke with Russell Palmer, CEO of Cyberfilm. The interview with the San Francisco, California-based company was conducted via Google Meet. Palmer spent much of the interview emphasizing that the AI autonomous solutions are not designed to reduce human jobs, but rather to "help writers write better work. In the age of streaming, he explained, writers can translate their work into many languages, including Korean, to reach global audiences.  It can play a role in supporting independent filmmakers in countries like South Korea, India, Nigeria, and Saudi Arabia, where the movie industry is growing.

[the "script doctor" for filmmakers]

Cyberfilm's Saga was created by Russell Palmer with his brother, filmmaker and writer Andrew Palmer, so they understand both the Hollywood scene and AI technology. Saga offers comprehensive scriptwriting and storyboarding capabilities. It is the perfect "script doctor" and writing companion, according to Cyberfilm. Since it is an AI learning model, it is possible to write scripts in the style of famous works or genres such as "The Squid Game”

The app will guide users to create scripts, develop characters, and create original plots based on existing works. Stewart Lyons, executive producer of U.S. dramas Breaking Bad and Better Call Saul, praised Saga in a press release, saying, "It asks the questions you need the answers for."  Rhys Ryan, CEO of Ekkobar and co-creator of Scenechronize, described it as "a great writing partner that allows users to collaborate to create compelling stories.

https://img1.wsimg.com/blobby/go/a2be63f9-3bb7-4504-9469-0f86cb904a83/downloads/Shadow%20Protocol%20-%20YT.pdf?ver=1707430894314

In addition to powerful screenwriting capabilities, users can also use AI to create storyboards of their own concepts. They can predict how well their narrative will translate to the screen. This is something that would only be possible with a traditional concept artist, and could be very attractive to independent filmmakers on a budget.

"Most importantly, CyberFilm AI envisions a future where generative AI strengthens the creative landscape, augmenting human intelligence without replacing it," said Russell Palmer, CEO of CyberFilm AI.

Saga aims to make filmmaking accessible to everyone, whether they are industry professionals, independent creators, or students. In doing so, it hopes to create more jobs and grow the global film industry. "If the media, entertainment, and film industries can harness the positive aspects of AI, the industry could be 100 times bigger in the next 10 years than it is today," Palmer said, "with tons of movies coming out every day." Not to mention the cost savings.

(6113) Saga - How To Write a Feature Film - Part 2 "Story Beats & Acts" - YouTube

[All copyrights are reserved to the creator of]

As a creative technology, data ownership and privacy are top priorities. Creators retain full ownership of the images and text generated, and content created in the app is not used to retrain AI models.

Cyberfilm says it "aspires to be one of the first artist-friendly AI companies." (The company aspires to be one of the first artist-friendly AI companies)

Cyberfilm is planning a model called 'Bloom' to expand its global reach to more than 40 supported languages, including Korean. "Korean support will be available within the year," Palmer said. Saga will also feature animation capabilities and support photo-realistic synthetic video creation like Sora, allowing users to instantly create short films or content for social media.

Saga is available for $19.99 per month (www.WriteOnSaga.com) and includes a three-day free trial. "Independent filmmakers can get discounts and coupons for AI services," said CEO Russell Palmer, "and we're focused on helping more people get into Hollywood."

[Human-created content will live on in the age of AI]

Palmer said AI will replace jobs that some people dislike or find unhealthy. However, he emphasized that there will still be a role for humans in the age of AI, and that the appeal of human work will be enduring.

"I believe that a movie that is truly made by humans, even with the help of AI, will be a movie that people want to watch more than a movie made by AI," Palmer said, "because people want to watch movies that have a human soul and heart, that are driven by human experiences and feelings."

He explained that he doesn't think AI will ever replace or reduce jobs in Hollywood. "I think there could be 10 times as many people making movies with AI," Palmer said. But they won't all be in Hollywood. There will be movies made all over the world."

In particular, he believes AI could democratize Hollywood filmmaking and distribution. He explains that the Hollywood movie industry has grown in a very limited way. With so few movie theaters and limited space to display movies in video rental stores (Blockbuster), they had to be very selective about what movies they made, he said.

But with technology, he said, Hollywood is losing out. "Everything is now in the cloud," he said. "Not only that, but AI can figure out your preferences for the movies you've seen and enjoyed. It could be that there's a filmmaker in Scotland who made a movie that you might like, or it could be that Netflix or YouTube can now target you perfectly for a movie that was previously unavailable to you," he explained.

"I think AI is going to grow jobs and the entertainment media industry," he said. "There's nothing kids today love more than watching videos on TikTok, YouTube, and Netflix. "We believe that the entertainment media industry could grow from $2 trillion today to over $20 trillion in 10 years, thanks to AI, with 100x more content and amazing, life-changing movies coming out every day."

After receiving pre-seed funding, CyberFilm is now focused on raising investment to grow the company.  

The company plans to use the funding to build its own models, such as Script Coverage. This is a service that allows users to review and provide feedback on movie scripts once they are completed.  Cyberfilm plans to hire data scientists and more machine learning engineers after the investment.

"We're looking to raise a seed or Series A round in the first half(February and March) of this year," says Palmer. He said those interested in investing should feel free to get in touch. "We're currently at three people (January 2024), but we're looking to grow to five to 10 people."