몇일전에 CHAT-GPT4 에 DALL-E3 가 integration되었다 (유로 사용자대상인듯)
나무 괴물을 그려달라고 했더니, 아래와 같이 그려줌,
별도의 프롬프트도 같이 제공한다. 간단한 말을 GPT가 디테일하게 설명을 만들고 DALL.E가 그림을 그리는 형태인듯하다.
앞으로 어떻게 될지 더 기대가 되는 상황으로 보인다.
저작권등은 어떻게 될지도 궁금하다. 이제는 어떤게 진짜인지 어떤게 가짜인지 분간을 하지 못하는 세상이 될것이고 어떤게 원본인지 구분하기도 쉽지 않을 듯 하다.
Whisper는 OpenAI에서 공개한 STT(Speech to Text) 이다
이게 용도가 여러가지 있겠지만, 영어 공부나 자막만들기, 스크립트 만들기, 회의록을 작성한다던가 할때 유용하다.
특히 언어를 배울때 특히, 영어 공부하는 용도로 굉장히 유용할 듯하다.
요즘 게다가 AI 번역기들이 성능이 어마 무시하기때문에 여기에 연동을 시키면,
언어적 장벽없이 이것저것을 할 수 있을 정도가 될듯하다.
보통 영어 뉴스 듣기 이런거를 하다가 막히는 게 뭐냐하면, 제대로 된 스크립트를 얻을 수가 없다는데 있다. 그래서, 이미 스크립트가 있는 경우는 쉽게 하지만, 최신 뉴스들에서는 어려운 점이 있는데, 이 Whisper를 사용하면 최신 뉴스에 대해서도 스크립트를 얻을 수 있기 때문에 굉장히 유용한점이 있다.
유튜브에서 다운받기
유튜브에서 파이썬으로 파일 내려 받는 방법은 다음과 같다.
먼저 pytube를 설치한다.
pip install pytube
그 다음에 아래와 같이 아래와 같이 수행할 경우, mp4 audio 형태로 다운을 받을 수가 있다.
import pytube video = "https://www.youtube.com/watch?v=[유튜브 주소]" data = pytube.YouTube(video) # Converting and downloading as 'MP4' file audio = data.streams.get_audio_only() audio.download()
다음은 whisper를 설치한다.
pip install -U openai-whisper
이상태에서 whisper로 내려받은 mp4 파일을 text로 변환하면 된다. 영어는 거의 상당히 정확하게 text를 뽑아주니, 이를 잘 활용하면 유용할듯하다.다음은 whisper로 변환를하는 예제이다.
import whisper
model = whisper.load_model("base")
fname = "파일이름"
text = model.transcribe(f"{fname}.mp4")
with open(f'{fname}.txt','w') as wf:
print (text['text'],file=wf)
다만 whisper runtime은 바로 나오지는 않고 시간이 많이 소모되기는 하다.