Python Django Quick-start

Django Quick-start

Django는 파이썬에서 사용할 수 있는 강력하고 유연한 웹 프레임워크입니다. Django를 설치하고 간단한 예제 프로젝트를 만드는 단계를 아래에 설명하겠습니다.

Django 설치

가상 환경 생성 및 활성화 (선택사항)

가상 환경을 사용하면 프로젝트별로 독립적인 파이썬 환경을 만들 수 있어, 여러 프로젝트에서 서로 다른 패키지 버전을 관리하기가 편리합니다.

python -m venv myvenv
  source myvenv/bin/activate  # Linux나 MacOS에서
  myvenv\Scripts\activate  # Windows에서

파이썬에 내장된 venv 모듈을 사용하여 새로운 가상 환경을 생성하고, 해당 환경을 활성화합니다. 활성화 후에는 해당 가상 환경 내에서 패키지 설치 및 관리가 이루어집니다.

Django 설치

pip를 사용하여 Django를 설치합니다.

pip install django

pip는 파이썬의 패키지 관리자로, 파이썬 라이브러리를 쉽게 설치하고 관리할 수 있게 해줍니다.

간단한 Django 프로젝트 생성

프로젝트 생성

django-admin 도구를 사용하여 새 프로젝트를 생성합니다.

django-admin startproject myproject
   cd myproject

Django 프로젝트의 기본 구조를 생성합니다. 프로젝트는 사이트의 전체 응용 프로그램을 포함합니다.django-admin 명령어를 사용해 새 프로젝트를 생성합니다. 이 명령어는 Django 프로젝트의 기본 폴더 구조와 파일을 설정합니다.

애플리케이션 생성

Django 프로젝트 내에서, 특정 기능을 담당하는 애플리케이션을 생성할 수 있습니다.

python manage.py startapp myapp

Django에서 애플리케이션은 프로젝트의 구성 요소로, 일련의 기능을 그룹화합니다. manage.py 스크립트와 startapp 명령어를 사용하여 새 애플리케이션을 생성합니다.

모델 정의

myapp/models.py 파일을 열고 간단한 모델을 정의합니다. 예를 들어, 간단한 Post 모델을 만들어봅시다.

from django.db import models

   class Post(models.Model):
       title = models.CharField(max_length=100)
       content = models.TextField()

       def __str__(self):
           return self.title

여기서는 데이터베이스 구조를 정의합니다. Django에서 모델은 데이터베이스의 테이블에 해당하며, 각 필드는 테이블의 컬럼입니다. models.py 파일에 클래스로 모델을 정의합니다. 이 클래스는 django.db.models.Model을 상속받아 Django ORM을 통해 데이터베이스와 상호작용합니다.

모델을 Admin 사이트에 등록

myapp/admin.py 파일을 열고 Post 모델을 등록합니다.

from django.contrib import admin
  from .models import Post

  admin.site.register(Post)

생성한 모델을 Django의 관리자 사이트에서 관리할 수 있도록 합니다. admin.py 파일에 모델을 등록합니다. 이렇게 하면 Django의 관리자 인터페이스에서 모델을 추가, 수정, 삭제할 수 있습니다.

데이터베이스 마이그레이션

모델 변경 사항을 데이터베이스에 적용하기 위해 마이그레이션을 실행합니다.

python manage.py makemigrations
  python manage.py migrate

모델의 변경사항을 데이터베이스에 적용합니다. makemigrations 명령어로 모델 변경 사항에 대한 마이그레이션 파일을 생성하고, migrate 명령어로 이를 데이터베이스에 적용합니다.

개발 서버 실행

Django의 내장 개발 서버를 실행합니다.

python manage.py runserver

이제 브라우저에서 http://127.0.0.1:8000/로 접속하면 Django 개발 서버가 실행 중인 것을 볼 수 있습니다.

runserver 명령어를 사용하여 개발 서버를 시작합니다. 이 서버는 개발 중에 애플리케이션을 테스트하기 위한 것입니다

Admin 사이트 접속

Django는 기본적으로 관리자 사이트를 제공합니다. 관리자 계정을 만들어 접속해봅시다.

python manage.py createsuperuser

관리자 계정을 만든 후, http://127.0.0.1:8000/admin로 접속하여 로그인할 수 있습니다. 여기서 Post 모델을 관리할 수 있습니다.

이러한 단계를 통해 기본적인 Django 프로젝트를 설정하고, 간단한 모델을 만들어 Admin 사이트에서 관리할 수 있게 되었습니다. Django는 이보다 훨씬 다양하고 복잡한 기능을 제공하므로, 웹 애플리케이션의 요구사항에 맞게 추가적인 개발을 진행할 수 있습니다.

 

Pytorch 설치 및 간단한 예제

PyTorch는 딥 러닝 모델을 구축하고 학습하기 위한 인기 있는 라이브러리입니다. 여기 간단한 PyTorch 예제를 테스트 해봅니다. 이 예제에서는 기본적인 신경망을 구성하고, 간단한 데이터셋에 대해 이 신경망을 학습시키는 과정을 보여줍니다.

예제: 기본적인 신경망 학습

1. 필요한 라이브러리 임포트

import torch
import torch.nn as nn
import torch.optim as optim

여기서는 PyTorch 관련 주요 라이브러리를 임포트합니다.

• torch: PyTorch의 기본 모듈로, 텐서 연산 및 기타 기본 기능을 제공합니다.
• torch.nn: 신경망을 구축하는 데 필요한 모듈 및 클래스를 제공합니다.
• torch.optim: 최적화 알고리즘(예: SGD, Adam)을 포함하고 있으며, 이를 통해 모델의 가중치를 업데이트합니다.

2. 신경망 모델 정의

class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        # 입력층, 은닉층, 출력층 정의
        self.fc1 = nn.Linear(3, 3)  # 3개 입력 노드에서 3개 은닉 노드로
        self.fc2 = nn.Linear(3, 1)  # 3개 은닉 노드에서 1개 출력 노드로

    def forward(self, x):
        x = torch.relu(self.fc1(x))  # ReLU 활성화 함수 적용
        x = self.fc2(x)
        return x

# 모델 인스턴스 생성
net = Net()

사용자 정의 신경망 모델을 정의합니다. nn.Module을 상속받아서 모델을 정의하며, __init__ 메서드에서 모델의 레이어를 정의하고 forward 메서드에서 데이터가 모델을 통과할 때 수행할 계산을 정의합니다.

3. 손실 함수와 최적화 기법 선택

criterion = nn.MSELoss()  # 평균 제곱 오차 손실 함수
optimizer = optim.SGD(net.parameters(), lr=0.01)  # 확률적 경사 하강법 최적화

• criterion: 모델의 출력과 실제 타겟 간의 차이를 계산하는 손실 함수를 정의합니다. 여기서는 평균 제곱 오차(MSE)를 사용합니다.
• optimizer: 모델의 가중치를 업데이트하는 방법을 정의합니다. 여기서는 확률적 경사 하강법(SGD)과 학습률(Learning rate) 0.01을 사용합니다.

4. 학습 데이터 준비

# 간단한 예시 데이터셋
inputs = torch.tensor([[1.0, 2.0, 3.0], [1.0, 2.0, 3.0], [1.0, 2.0, 3.0]])
targets = torch.tensor([[1.0], [2.0], [3.0]])

이 단계에서는 학습에 사용할 입력 데이터(inputs)와 해당 타겟 레이블(targets)을 정의합니다. 이 데이터는 모델을 훈련시키는 데 사용됩니다.

5. 학습 과정

for epoch in range(500):  # 에포크 수 설정
    optimizer.zero_grad()   # 그래디언트 버퍼 초기화
    outputs = net(inputs)   # 입력에 대한 예측값 계산
    loss = criterion(outputs, targets)  # 손실 계산
    loss.backward()  # 역전파 수행
    optimizer.step()  # 가중치 업데이트

    if (epoch+1) % 50 == 0:  # 매 50 에포크마다 손실 출력
        print(f'Epoch [{epoch+1}/500], Loss: {loss.item():.4f}')

이 부분은 모델을 학습시키는 과정입니다. 각 에포크마다 다음의 단계를 수행합니다:

• optimizer.zero_grad(): 이전 에포크에서 계산된 그래디언트를 초기화합니다.
• outputs = net(inputs): 현재 모델을 사용하여 입력 데이터에 대한 예측을 수행합니다.
• loss = criterion(outputs, targets): 손실 함수를 사용하여 예측과 실제 타겟 간의 손실을 계산합니다.
• loss.backward(): 손실에 대한 그래디언트를 계산하기 위해 역전파를 수행합니다.
• optimizer.step(): 계산된 그래디언트를 사용하여 모델의 가중치를 업데이트합니다.

추가로 에포크(epoch)의 의미는 머신 러닝, 특히 신경망 학습에서 전체 학습 데이터셋이 모델을 통과하는 한 번의 완전한 사이클을 의미합니다. 각 에포크에서 모델은 데이터셋의 모든 샘플을 한 번씩 처리하고, 이를 통해 가중치를 업데이트합니다. 모델의 성능을 향상시키기 위해 여러 에포크를 거치며 학습을 반복합니다.

이 예제는 PyTorch를 사용하여 간단한 신경망을 구성하고, 작은 데이터셋에 대해 신경망을 학습시키는 기본적인 프로세스를 보여줍니다. 실제로 복잡한 데이터셋과 문제에 적용할 때는 더 많은 레이어, 다양한 데이터 전처리 방법, 복잡한 최적화 알고리즘 등이 사용될 수 있습니다.

Chat GPT4 + DALL.E 3

몇일전에 CHAT-GPT4 에 DALL-E3 가 integration되었다 (유로 사용자대상인듯)

이제 그림까지 그려주는 중, 

나무 괴물을 그려달라고 했더니, 아래와 같이 그려줌, 

별도의 프롬프트도 같이 제공한다. 간단한 말을 GPT가 디테일하게 설명을 만들고 DALL.E가 그림을 그리는 형태인듯하다. 

앞으로 어떻게 될지 더 기대가 되는 상황으로 보인다. 

저작권등은 어떻게 될지도 궁금하다. 이제는 어떤게 진짜인지 어떤게 가짜인지 분간을 하지 못하는 세상이 될것이고 어떤게 원본인지 구분하기도 쉽지 않을 듯 하다. 

Python whisper open AI

Whisper는 OpenAI에서 공개한 STT(Speech to Text) 이다

이게 용도가 여러가지 있겠지만, 영어 공부나 자막만들기, 스크립트 만들기, 회의록을 작성한다던가 할때 유용하다. 

특히 언어를 배울때 특히, 영어 공부하는 용도로 굉장히 유용할 듯하다. 
요즘 게다가 AI 번역기들이 성능이 어마 무시하기때문에 여기에 연동을 시키면, 

언어적 장벽없이 이것저것을 할 수 있을 정도가 될듯하다. 

보통 영어 뉴스 듣기 이런거를 하다가 막히는 게 뭐냐하면, 제대로 된 스크립트를 얻을 수가 없다는데 있다. 그래서, 이미 스크립트가 있는 경우는 쉽게 하지만, 최신 뉴스들에서는 어려운 점이 있는데, 이 Whisper를 사용하면 최신 뉴스에 대해서도 스크립트를 얻을 수 있기 때문에 굉장히 유용한점이 있다. 

유튜브에서 다운받기

유튜브에서 파이썬으로 파일 내려 받는 방법은 다음과 같다. 

먼저 pytube를 설치한다. 

pip install pytube

그 다음에 아래와 같이 아래와 같이 수행할 경우, mp4 audio 형태로 다운을 받을 수가 있다. 

import pytube

video = "https://www.youtube.com/watch?v=[유튜브 주소]"
data = pytube.YouTube(video)
# Converting and downloading as 'MP4' file
audio = data.streams.get_audio_only()
audio.download()

다음은 whisper를 설치한다.

pip install -U openai-whisper

이상태에서 whisper로 내려받은 mp4 파일을 text로 변환하면 된다. 영어는 거의 상당히 정확하게 text를 뽑아주니, 이를 잘 활용하면 유용할듯하다.다음은 whisper로 변환를하는 예제이다.  

import whisper

model = whisper.load_model("base")
fname = "파일이름"
text = model.transcribe(f"{fname}.mp4")

with open(f'{fname}.txt','w') as wf:
  print (text['text'],file=wf)

다만 whisper runtime은 바로 나오지는 않고 시간이 많이 소모되기는 하다. 

python pybind 11 c++ 과 연결하기

pybind 라는 패키지가 있다.

c++과 연결하는 것인데, header only library이고,

아래 페이지가 해당 사이트이다. 

https://github.com/pybind/pybind11

기존에는 ctype등을 이용해서 주로 python과 C를 연결했었는데, 

이것은 C++과 다이렉트로 연결해주는 패키지이다. 

이전에도 C++은 python과 바로 연결은 안되고, extern이라든지 c형태로 함수를 다시 재구성해서 노출시키는 방법들을 사용했었는데, 이것은 간단한 작성으로 이런것들을 가능하게 해주는듯하다. 

이전에 Boost.Python이 그런역할을 해주는데, 부스트라는게 사실 좀 헤비한 면이 없지 않은지라 header only에 standard c++만 사용한 이 패키지도 나쁘지는 않은듯하다. 

먼저 pybind설치

>> pip install pybind11 

아래와 같이 c-code를 작성한다. example.cpp

#include <pybind11/pybind11.h>

int add(int i, int j) {
    return i + j;
}

namespace py = pybind11;

PYBIND11_MODULE(example, m) {
    m.doc() = "pybind11 example plugin"; // 모듈 독스트링 설정

    m.def("add", &add, "A function which adds two numbers"); // 함수 바인딩
}

이것을 다음과 같이 컴파일 header-only이기때문에 python3 -m pybind11 --includes 이 명령어를 통해서 관련 헤더가 추가된다.

c++ -O3 -Wall -shared -std=c++11 -fPIC `python3 -m pybind11 --includes` example.cpp -o example`python3-config --extension-suffix`

아래와 같이 python 에서 불러들이면 끝

import example

result = example.add(1, 2)
print(result)  
# 출력: 3

위와 같이 간단하게 python에서 c-code를 실행시키는 코드를 만들수 있다.

NumPy Array 생성 함수

 NumPy에서는 다양한 방법으로 배열을 생성할 수 있는 함수들을 제공합니다. 이러한 함수들에 대해서 정리해보았슨비다.

NumPy Array 생성 함수

함수	설명	예제	결과
np.array	주어진 데이터로부터 배열을 생성	np.array([1, 2, 3])	[1, 2, 3]
np.zeros	모든 원소가 0인 배열 생성	np.zeros((2, 3))	[[0., 0., 0.], [0., 0., 0.]]
np.ones	모든 원소가 1인 배열 생성	np.ones((3, 2))	[[1., 1.], [1., 1.], [1., 1.]]
np.empty	초기화되지 않은 배열 생성	np.empty((2, 2))	랜덤 값
np.arange	주어진 범위와 간격의 배열 생성	np.arange(0, 10, 2)	[0, 2, 4, 6, 8]
np.linspace	선형 간격의 배열 생성	np.linspace(0, 1, 5)	[0., 0.25, 0.5, 0.75, 1.]
np.logspace	로그 간격의 배열 생성	np.logspace(0, 3, 4)	[1., 10., 100., 1000.]
np.eye	단위 행렬 생성	np.eye(3)	[[1., 0., 0.], [0., 1., 0.], [0., 0., 1.]]
np.random.rand	랜덤한 원소를 가진 배열 생성	np.random.rand(2, 2)	랜덤 값 (0~1 사이)

예제 코드

import numpy as np

# np.array 예제
a = np.array([1, 2, 3])
print("np.array:", a)

# np.zeros 예제
b = np.zeros((2, 3))
print("np.zeros:", b)

# np.ones 예제
c = np.ones((3, 2))
print("np.ones:", c)

# np.empty 예제
d = np.empty((2, 2))
print("np.empty:", d)

# np.arange 예제
e = np.arange(0, 10, 2)
print("np.arange:", e)

# np.linspace 예제
f = np.linspace(0, 1, 5)
print("np.linspace:", f)

# np.logspace 예제
g = np.logspace(0, 3, 4)
print("np.logspace:", g)

# np.eye 예제
h = np.eye(3)
print("np.eye:", h)

# np.random.rand 예제
i = np.random.rand(2, 2)
print("np.random.rand:", i)

이러한 NumPy 함수들을 사용하여 다양한 형태와 속성을 가진 배열을 쉽게 생성할 수 있습니다. 각 함수가 어떤 상황에 유용한지를 이해하면, 이부분 사용하는데 문제없을 듯 합니다.

NumPy Broadcasting

Broadcasting은 NumPy 라이브러리에서 다른 형태(shape)의 배열 간에도 산술 연산이 가능하게 해주는 기능입니다. 일반적으로, NumPy에서 배열 간 연산은 배열의 형태가 동일해야 하는데, Broadcasting은 이러한 제약을 완화해줍니다.

기본 규칙

Broadcasting은 다음과 같은 규칙을 따릅니다:

1. 두 배열의 차원 수가 다르면, 더 작은 차원을 가진 배열의 형태(shape) 앞에 1을 추가합니다.
2. 두 배열이 어떤 차원에서도 크기가 동일하거나, 한쪽이 1이라면 호환되는 것으로 간주됩니다.
3. 어느 한 차원에서도 크기가 일치하지 않고 1도 아니라면 오류가 발생합니다.

이것 말은 어려운데 실제 동작하는것보면 쉽게 이해할 수 있습니다.

예제

예제 1: 벡터와 스칼라 덧셈

import numpy as np

a = np.array([1, 2, 3])
b = 2

result = a + b
# result: array([3, 4, 5])

예제 2: 2차원 배열과 1차원 배열 덧셈

A = np.array([[1, 2], [3, 4], [5, 6]])
B = np.array([1, 2])

result = A + B
# result: array([[2, 4], [4, 6], [6, 8]])

장점과 단점

장점

• 간결성: 더 적은 메모리와 코드로 같은 연산을 수행할 수 있습니다.
• 성능: Broadcasting을 이용한 연산은 내부적으로 최적화되어 있어 빠른 연산 속도를 제공합니다.

단점

• 복잡성: Broadcasting 규칙을 이해하지 못하면 예상치 못한 결과를 얻을 수 있습니다.
• 디버깅: 문제가 발생했을 때, 디버깅이 상대적으로 어렵습니다.

결론

NumPy의 Broadcasting 기능은 배열 연산을 더 간편하고 빠르게 해주지만, 사용에 앞서 해당 메커니즘을 잘 이해하는 것이 중요합니다. 잘 활용하면 다양한 수학적 문제와 데이터 분석 작업에서 큰 이점을 볼 수 있습니다.

리눅스에서 pdf 파일 합치는 방법

우분투에서 다음 방법으로
pdftk 를 설치한다

sudo apt-get install pdftk

Linux에서 PDF 파일을 합치려면, pdftk라는 명령어 도구를 활용하면 된다. pdftk는 PDF 문서를 합치는 작업부터 페이지 회전, 삭제, 메타데이터 수정 등 다양한 기능을 제공한다.

만약 pdftk가 설치되어 있지 않다면, 아래의 명령어로 설치하면 된다.

Ubuntu 혹은 Debian 기반의 시스템인 경우:

> sudo apt-get install pdftk

설치가 완료되면, pdftk 명령어를 활용해 PDF 파일을 합칠 수 있다. 예를 들어, file1.pdf와 file2.pdf 두 파일을 output.pdf라는 하나의 파일로 합치려면 아래와 같이 실행하면 된다.

> pdftk file1.pdf file2.pdf cat output output.pdf

여기서 cat 옵션은 입력된 파일들을 순서대로 연결해 하나의 출력 파일을 생성한다는 것을 의미한다. output 키워드 다음에는 생성될 파일의 이름을 지정하면 된다.

또한 pdftk는 페이지 순서 변경이나 특정 페이지만 추출하는 등의 다양한 고급 기능도 제공한다. 자세한 내용은 man pdftk 명령어를 통해 pdftk의 매뉴얼 페이지를 확인하면 된다.