박태영의 개발참고서

k-fold + ensemble & drop-path

개발자 박태영 — Fri, 27 Sep 2024 11:34:51 +0900

competition을 진행중에 여러 augmentation기법도 중요하지만 ensemble과 k-fold의 중요성을 다시 한번 깨달았습니다.

저는 지금까지 위와 같은 형태로 최종 logits값을 구하고 있었습니다.

어디서 검색해서 본게 아닌 스스로 이렇게 하면 되겠구나 하고 사용하고 있었습니다.

Image classification 대회중 여러 아키텍처를 kaggle, dacon에서 찾아보던 중 발견하였습니다.

도배 하자 유형 분류 AI 경진대회에서 public, private 1등한 아키텍처 입니다.

https://dacon.io/competitions/official/236082/codeshare/8433?page=1&dtype=recent

사진과 같이 Fold에서부터 train, valid 비율을 폴드별로 다르게 해서 최대한 모든 데이터를 사용하려고 한 것 같습니다.

fold별로 가장 좋은 성능을 보인 weight를 갖고 ensemble 하였습니다

model은 convnext를 사용하였습니다.

convnext 아키텍처

convnext는 convolution layer에 residual 기법을 추가한 것입니다.

model에서는 residual 구조에서만 사용할 수 있는 drop-path 기법을 사용했습니다.

dropout과 drop-path

dropout이 랜덤으로 신경망 속 뉴런의 학습을 끊는 것이라면, drop-path는 residual connection 구조에서만 사용할 수 있는 기법으로 랜덤으로 path를 끊는 것입니다.

랜덤한 확률에 따라 f_l(H_{l−1})을 생략하여 output이 f(x) + x 또는 x가 될 수 있습니다.

해당 기법을 사용하면 네트워크 길이가 짧아지므로, 학습시간이 줄어듭니다.

논문에서 실험한 결과로는 0.5로 적용했을 때 학습시간이 25%가 줄어들었고, 성능이 제일 좋았습니다.

0.2로 했을 때는 성능은 Constant Path와 비슷하지만 학습시간이 40% 줄어들었습니다.

dropout과 마찬가지로 서로 다른 모델을 만드는 효과와 비슷하여 ensemble 효과를 가져옵니다.

https://arxiv.org/abs/1603.09382

Deep Networks with Stochastic Depth

Very deep convolutional networks with hundreds of layers have led to significant reductions in error on competitive benchmarks. Although the unmatched expressiveness of the many layers can be highly desirable at test time, training very deep networks comes

arxiv.org

아래는 pytorch lighting으로 작성한 코드입니다.

drop-path와 k-fold + ensemble 코드만 올려봅니다.

import timm
import torch
import torch.nn as nn


class DropPath(nn.Module):
    def __init__(self, drop_prob=0.0):
        super(DropPath, self).__init__()
        self.drop_prob = drop_prob

    def forward(self, x):
        if self.drop_prob == 0.0 or not self.training:
            return x
        keep_prob = 1 - self.drop_prob
        shape = (x.shape[0],) + (1,) * (x.ndim - 1)  # batch size, 1, 1, 1...
        random_tensor = keep_prob + torch.rand(shape, dtype=x.dtype, device=x.device)
        random_tensor.floor_()  # binarize
        output = x / keep_prob * random_tensor
        return output


class CustomResNeXt(nn.Module):
    def __init__(
        self, model_name="resnext50_32x4d", drop_path_rate=0.5, num_classes=500
    ):
        super(CustomResNeXt, self).__init__()
        # timm 라이브러리에서 ResNeXt 모델 로드
        self.model_name = model_name

        self.model = timm.create_model(model_name, pretrained=True)
        
        # classifier head만 학습
        for param in self.model.parameters():
            param.requires_grad = False

        # 마지막 레이어 변경
        if model_name == "resnext26ts":
            self.model.head.fc = nn.Linear(2048, num_classes)
        elif model_name == "resnext50_32x4d":
            self.model.fc = nn.Linear(2048, num_classes)
        elif model_name == "resnext101_32x16d":
            self.model.fc = nn.Linear(2048, num_classes)
        else:
            raise ValueError("Invalid model name")

        # DropPath 추가
        self.drop_path = DropPath(drop_prob=drop_path_rate)

        # Global Average Pooling 추가
        self.global_pool = nn.AdaptiveAvgPool2d((1, 1))

    def forward(self, x):
        x = self.model.forward_features(x)  # 특징 추출

        # DropPath 적용
        x = self.drop_path(x)

        # Global Pooling을 사용하여 (batch_size, channels, height, width) -> (batch_size, channels, 1, 1)로 변환
        x = self.global_pool(x)

        # 2D 텐서로 변환 (batch_size, channels)
        x = torch.flatten(x, 1)

        if self.model_name == "resnext26ts":
            self.model.head.fc.requires_grad = True
            x = self.model.head.fc(x)  # ClassifierHead의 fc 레이어
        elif (
            self.model_name == "resnext50_32x4d"
            or self.model_name == "resnext101_32x16d"
        ):
            self.model.fc.requires_grad = True
            x = self.model.fc(x)
        else:
            raise ValueError("Invalid model name")

        return x

timm library에서 불러온 resnext는 drop-path 추가 옵션이 없어서 class를 만들어서 fc layer앞에 추가하였습니다.

import os
from argparse import ArgumentParser
from time import gmtime, strftime
import yaml

import numpy as np
import pandas as pd
import torch
from torch.utils.data import DataLoader

import pytorch_lightning as pl
from pytorch_lightning.callbacks import EarlyStopping, ModelCheckpoint
from pytorch_lightning.loggers import CSVLogger, WandbLogger
from sklearn.model_selection import StratifiedKFold

from data_sets import base_dataset
from select_transforms import TransformSelector
from pl_trainer import Sketch_Classifier
from utils.util import dotdict

torch.set_float32_matmul_precision("medium")  # 또는 'high'


def load_config(config_file):
    with open(config_file, "r") as file:
        config = yaml.safe_load(file)
    return config


def parse_args(config):
    parser = ArgumentParser()

    # Set defaults from config file, but allow override via command line
    parser.add_argument(
        "--exp_name", type=str, default=config.get("exp_name")
    )  # 현재 실험 이름
    parser.add_argument(
        "--base_output_dir", type=str, default=config.get("base_output_dir")
    )  # 실험 결과 저장 폴더
    parser.add_argument("--gpus", type=str, default=config.get("gpus"))

    parser.add_argument("--batch_size", type=int, default=config.get("batch_size"))
    parser.add_argument("--epochs", type=int, default=config.get("epochs"))
    parser.add_argument(
        "--learning_rate", type=float, default=config.get("learning_rate")
    )

    parser.add_argument(
        "--model_type", type=str, default=config.get("model_type")
    )  # backbone 타입
    parser.add_argument(
        "--model_name", type=str, default=config.get("model_name")
    )  # torchvision, timm을 위한 model 이름
    parser.add_argument("--pretrained", type=bool, default=config.get("pretrained"))
    parser.add_argument(
        "--data_name", type=str, default=config.get("data_name")
    )  # dataset 이름
    parser.add_argument(
        "--transform_name", type=str, default=config.get("transform_name")
    )
    parser.add_argument("--num_classes", type=int, default=config.get("num_classes"))
    parser.add_argument("--optim", type=str, default=config.get("optim"))
    parser.add_argument("--weight_decay", type=str, default=config.get("weight_decay"))
    parser.add_argument("--loss", type=str, default=config.get("loss"))
    parser.add_argument(
        "--cos_sch", type=int, default=config.get("cos_sch")
    )  # cos 주기
    parser.add_argument("--warm_up", type=int, default=config.get("warm_up"))
    parser.add_argument(
        "--early_stopping", type=int, default=config.get("early_stopping")
    )

    parser.add_argument(
        "--train_data_dir", type=str, default=config.get("train_data_dir")
    )
    parser.add_argument(
        "--traindata_info_file", type=str, default=config.get("traindata_info_file")
    )
    parser.add_argument(
        "--test_data_dir", type=str, default=config.get("test_data_dir")
    )
    parser.add_argument(
        "--testdata_info_file", type=str, default=config.get("testdata_info_file")
    )

    parser.add_argument(
        "--use_wandb", type=int, default=config.get("use_wandb")
    )  # wandb 사용?
    parser.add_argument(
        "--num_workers", type=str, default=config.get("num_workers")
    )  # dataloader 옵션 관련
    parser.add_argument("--cutmix_mixup", type=str, default=config.get("cutmix_mixup"))
    parser.add_argument("--kfold_pl_train_return", type=str, default=True)
    parser.add_argument("--n_splits", type=int, default=config.get("n_splits"))
    parser.add_argument(
        "--mixed_precision", type=bool, default=config.get("mixed_precision")
    )
    parser.add_argument("--cutmix_ratio", type=int, default=config.get("cutmix_ratio"))
    parser.add_argument("--mixup_ratio", type=int, default=config.get("mixup_ratio"))
    parser.add_argument(
        "--accumulate_grad_batches",
        type=int,
        default=config.get("accumulate_grad_batches"),
    ),
    parser.add_argument(
        "--num_cnn_classes", type=int, default=config.get("num_cnn_classes")
    )  # CNN 분류 클래스 수
    return parser.parse_args()


def main(args):
    hparams = dotdict(vars(args))

    # Stratified K-Fold로 데이터셋 분할
    skf = StratifiedKFold(n_splits=hparams.n_splits, shuffle=True, random_state=42)
    train_info_df = pd.read_csv(hparams["traindata_info_file"])

    transform_selector = TransformSelector(hparams.transform_name)
    train_transform = transform_selector.get_transform(True)
    test_transform = transform_selector.get_transform(False)

    models = []
    best_model_paths = []  # 각 폴드의 베스트 모델 가중치 저장

    for fold, (train_idx, val_idx) in enumerate(
        skf.split(train_info_df, train_info_df["target"])
    ):

        train_df = train_info_df.iloc[train_idx]
        val_df = train_info_df.iloc[val_idx]

        train_dataset = base_dataset.CustomDataset(
            hparams.train_data_dir, train_df, train_transform, False
        )
        val_dataset = base_dataset.CustomDataset(
            hparams.train_data_dir, val_df, test_transform, False
        )
        train_loader = DataLoader(
            train_dataset,
            batch_size=hparams.batch_size,
            num_workers=hparams.num_workers,
            shuffle=True,
            pin_memory=True,
            drop_last=True,
        )
        val_loader = DataLoader(
            val_dataset,
            batch_size=hparams.batch_size,
            num_workers=hparams.num_workers,
            shuffle=False,
            pin_memory=True,
            drop_last=True,
        )

        # 3개의 모델 학습
        model_names = ["resnet26ts", "resnext50_32x4d", "resnet101_32x8d"]
        best_model_acc = 0
        best_model_path = None

        for model_name in model_names:
            print(f"Training {model_name} on fold {fold}")

            if model_name == "resnet101_32x8d":
                train_loader = DataLoader(
                    train_dataset,
                    batch_size=32,
                    num_workers=hparams.num_workers,
                    shuffle=True,
                    pin_memory=True,
                    drop_last=True,
                )

                val_loader = DataLoader(
                    val_dataset,
                    batch_size=32,
                    num_workers=hparams.num_workers,
                    shuffle=False,
                    pin_memory=True,
                    drop_last=True,
                )

            # 모델 이름을 hparams에 업데이트
            hparams.model_name = model_name

            # Sketch_Classifier 인스턴스 생성
            model = Sketch_Classifier(**hparams)

            # logger 설정
            csv_logger = CSVLogger(
                save_dir=hparams.output_dir + f"/{model_name}/fold{fold}", name="result"
            )
            my_loggers = [csv_logger]

            if hparams.use_wandb:
                import wandb

                wandb.init(
                    project="sketch classification",
                    entity="nav_sketch",
                    name=f"{model_name}_fold{fold}",
                )
                wandb_logger = WandbLogger(
                    save_dir=hparams.output_dir + f"/{model_name}/fold{fold}",
                    name=os.path.basename(hparams.output_dir),
                    project="sketch classification",
                )
                my_loggers.append(wandb_logger)

            # ModelCheckpoint 콜백 설정
            checkpoint_callback = []
            checkpoint_callback.append(
                ModelCheckpoint(
                    dirpath=hparams.output_dir + f"/{model_name}/fold{fold}",
                    save_last=True,
                    save_top_k=1,
                    monitor="val_acc",  # val_acc를 기준으로 체크포인트 저장
                    mode="max",
                )
            )

            if hparams.early_stopping > 0:
                early_stop = EarlyStopping(
                    monitor="valid_loss",
                    patience=hparams.early_stopping,
                    verbose=True,
                    mode="min",
                )
                checkpoint_callback.append(early_stop)

            # Trainer 설정
            trainer = pl.Trainer(
                logger=my_loggers,
                accelerator="cpu" if hparams.gpus == 0 else "gpu",
                precision="16-mixed" if hparams.gpus != 0 else 32,
                devices=None if hparams.gpus == 0 else hparams.gpus,
                callbacks=checkpoint_callback,
                max_epochs=hparams.epochs,
                accumulate_grad_batches=(
                    1
                    if hparams.accumulate_grad_batches <= 0
                    else hparams.accumulate_grad_batches
                ),
            )

            # 학습 진행
            trainer.fit(model, train_loader, val_loader)

            # 현재 모델이 최고 성능을 기록했는지 확인
            if checkpoint_callback[0].best_model_score > best_model_acc:
                best_model_acc = checkpoint_callback[0].best_model_score
                best_model_path = checkpoint_callback[0].best_model_path

        print(f"Best model for fold {fold} is: {best_model_path}")
        best_model_paths.append(best_model_path)

    # 최종 베스트 모델들로 앙상블 수행
    print("Starting ensemble prediction on test dataset")

    test_info_df = pd.read_csv(hparams["testdata_info_file"])
    test_dataset = base_dataset.CustomDataset(
        hparams.test_data_dir, test_info_df, test_transform, True
    )
    test_loader = DataLoader(
        test_dataset,
        batch_size=hparams.batch_size,
        num_workers=hparams.num_workers,
        shuffle=False,
    )

    test_predictions = np.zeros((len(test_dataset), hparams.num_classes))

    for best_model_path in best_model_paths:
        model = Sketch_Classifier.load_from_checkpoint(best_model_path)
        trainer = pl.Trainer(
            accelerator="cpu" if hparams.gpus == 0 else "gpu", devices=hparams.gpus
        )

        # 모델 예측
        predictions = trainer.predict(model, test_loader)

        pred_list = []
        for batch in predictions:
            # 배치의 두 번째 값(2D 배열)을 pred_list에 추가
            logits = batch[1]  # 두 번째 값만 사용 (torch.Size([64, 500]))
            pred_list.append(logits.cpu().numpy())

        # 모든 배치의 예측값을 합침
        pred_list = np.concatenate(pred_list, axis=0)

        # test_predictions에 예측값을 더함
        test_predictions += pred_list

    # 모델 수로 나누어 평균을 냄
    test_predictions /= len(best_model_paths)

    output_df = pd.DataFrame()
    output_df["ID"] = range(len(test_info_df))
    output_df["image_path"] = test_info_df["image_path"]
    output_df["target"] = test_predictions.argmax(axis=1)

    if not os.path.isdir(args.output_dir):
        os.makedirs(args.output_dir)

    output_df.to_csv(os.path.join(args.output_dir, "output.csv"), index=False)


if __name__ == "__main__":

    pl.seed_everything(42)

    # ------------
    # args
    # ------------

    config = load_config("config2.yaml")
    args = parse_args(config)

    ## output_dir
    current_time = strftime("%m-%d_0", gmtime())
    pt = "O" if args.pretrained else "X"
    name_str = (
        f"{args.model_name}-{args.batch_size}-{args.learning_rate}"
        + f"-{args.optim}-{pt}-{args.exp_name}"
    )
    # args.output_dir = os.path.join(args.base_output_dir, args.exp_name + "_" + current_time)
    args.output_dir = os.path.join(args.base_output_dir, name_str + "_" + current_time)
    if os.path.isdir(args.output_dir):
        while True:
            cur_exp_number = int(args.output_dir[-2:].replace("_", ""))
            args.output_dir = args.output_dir[:-2] + "_{}".format(cur_exp_number + 1)
            if not os.path.isdir(args.output_dir):
                break

    # gpus
    args.gpus = [int(i) for i in str(args.gpus).split(",")]

    main(args)

k-fold에서 train, valid 비율은 8:2로 가져갔습니다

Django "Reverse for ‘password_reset_confirm’ not found" Error

개발자 박태영 — Sat, 14 Sep 2024 20:38:13 +0900

오늘은 2023년 11월쯤 Django 오픈소스에 기여하려다가 pull requests를 reject 당한 경험에 대해 말씀드리겠습니다.

설명에 앞서 django에서는 password reset을 해주는 도와주는 CBV가 있습니다.

해당 CBV는 사용자가 비밀번호를 잃어버렸을 경우 이메일로 초기화링크를 보내고, 링크에 접속하면 비밀번호를 초기화 할 수 있는 기능을 제공합니다.

예전에는 '비밀번호 찾기' 기능을 통해 기존 비밀번호를 사용자가 다시 확인하거나 복구할 수 있었고, 이 과정에서는 비밀번호를 비교한 후 변경하는 방식이 주로 사용되었습니다. 이때는 비밀번호를 복호화할 수 있도록 저장하는 경우가 있었죠. 하지만 이는 보안상의 취약점을 남기는 방식이었습니다.

최근에는 보안을 강화하기 위해 비밀번호를 해시로 저장하는 방식이 표준이 되었고, 해시는 단방향 암호화이기 때문에 복호화가 불가능합니다. 이로 인해, 비밀번호를 찾는 대신, 새로운 비밀번호를 생성하게 하는 것이 일반적인 방식으로 자리 잡았습니다.

Django는 후자의 방법을 선택하고 있습니다. 그래서 비밀번호를 재설정을 하려면 초기화를 해야합니다

그 방법을 제공하는게 위에서 말한 CBV입니다

해당 CBV를 사용하기위해서는 아래와 같이 urls.py에 등록만 하면 됩니다.

from django.urls import path
from django.contrib.auth import views as auth_views
from . import views

# app_name = 'common'

urlpatterns = [
    (... 생략 ...)
    path('password_reset/', views.PasswordResetView.as_view(), name='password_reset'),
    path('password_reset/done/', views.PasswordResetDoneView.as_view(), name='password_reset_done'),
    path('reset/<uidb64>/<token>/', views.PasswordResetConfirmView.as_view(), name='password_reset_confirm'),
    path('reset/done/', views.PasswordResetCompleteView.as_view(), name='password_reset_complete')
]

PasswordResetView : 비밀번호 재설정을 요청하는 폼을 사용자에게 제공하고, 이메일로 비밀번호 재설정 링크를 전송하는 역할을 합니다.
PasswordResetDoneView : 비밀번호 재설정 이메일이 성공적으로 전송되었다는 확인 메시지를 사용자에게 보여줍니다.
PasswordResetConfirmView : 이메일로 받은 링크를 통해 접근한 후, 새로운 비밀번호를 설정할 수 있는 폼을 제공합니다.
PasswordResetCompleteView :비밀번호 재설정이 성공적으로 완료된 후, 완료 메시지를 사용자에게 표시합니다.

위처럼 CBV를 간단하게 사용할 수 있습니다.

근데 해당 CBV의 경우 Django에서 제공하는 app_name = 'common'과 같은 URL 네임스페이스 기능이 에러가 나며 사용할 수 없었습니다.

그래서 저는 왜 그럴까하고 Django 소스코드를 디버깅하며 탐색해보았습니다.

탐색결과 PasswordResetView, PasswordResetForm, template에 문제가 있었습니다.

해결방법

1. password_reset_email.html에서 url인자로 app_name을 받는 것이 아닌 string으로 지정해놓았기 때문입니다.

그래서 아래와 같이 수정하였습니다.

2. forms.py에서 app_name 파라미터를 기본값으로 None으로 설정하고, 만약 입력이 있을 경우 이를 컨텍스트에 포함시켜 템플릿 엔진에 전달합니다. 입력이 없을 때는 특정 문자열을 전달하도록 처리합니다. 이렇게 함으로써 password_reset_email.html에 필요한 인자를 적절히 전달할 수 있게 됩니다.

3. 마지막으로 views.py를 수정해야합니다. dispath함수를 수정하여 URL 네임스페이스를 포함할 수 있게 하였습니다.

form_valid 함수에도 app_name을 추가하여 위에서 정의한 forms.py로 전달할 수 있게 하였습니다.

제가 요청한 PR입니다.

https://github.com/django/django/pull/17508

Add new feature to PasswordResetView, PasswordResetForm and modify associated password_reset_email.html template by taeyoung1005

I'm not fluent in English, and I use a translation tool, so please forgive me for any possible mistranslations. Update PasswordResetView, PasswordResetForm to include new feature in password re...

github.com

제가 작성한 commit 기록 되어있는 링크입니다.

https://github.com/taeyoung1005/django/commit/8e2b69452c1703ca579399fe143740035eab349

Add new feature to PasswordResetView, PasswordResetForm and modify as… · taeyoung1005/django@8e2b694

…sociated password_reset_email.html template Update PasswordResetView, PasswordResetForm to include new feature in password reset logic. Previously, when using the PasswordReset feature, it was no...

github.com

Django forum에도 이 에러에 대해 올라와있습니다. view가 꽤 많고 여러 사람들이 댓글을 달아주셨는데요.
에러의 해결방법보다는 이유만 올려주고 있길래 제가 아래에 추가로 작성하였습니다.

https://forum.djangoproject.com/t/reverse-for-password-reset-confirm-not-found/9788

Reverse for 'password_reset_confirm' not found.

So I’m trying to use the default reset password form from django and this is my urls now: urls: path('reset_password/', auth_views.PasswordResetView.as_view(success_url=reverse_lazy('home:password_reset_done'), template_name="accounts/password_reset.html

forum.djangoproject.com

해결시점 이후로 시간이 지나서, 지금 버전에는 어떤지는 모르겠습니다

다음에 기회가 되면 다시 확인해봐야겠습니다.

읽어주셔서 감사합니다.

Github Action을 이용한 CI/CD

개발자 박태영 — Sun, 30 Jun 2024 18:07:31 +0900

Elasticsearch

개발자 박태영 — Tue, 9 Apr 2024 19:27:15 +0900

JWT

개발자 박태영 — Tue, 9 Apr 2024 19:26:34 +0900

비동기 태스크 큐 celery

개발자 박태영 — Mon, 11 Dec 2023 01:50:39 +0900

데이터 통신과 컴퓨터 네트워크(3판) 연습문제 1장 서술형 제외

개발자 박태영 — Mon, 20 Nov 2023 19:47:16 +0900

1. 네트워크의 기초 용어에 대한 설명으로 잘못된 것을 모두 고르시오.
① 네트워크는 하드웨어적인 전송 매체를 매개로 서로 연결되어 데이터를 교환하는 시스템의 모음이다.
② 시스템과 전송 매체의 연결 지점에 대한 규격이 프로토콜이다.
③ 시스템이 데이터를 교환할 때는 소프트웨어적으로 동작하는 통신 규칙인 인터페이스가 필요하다.
④인터페이스와 프로토콜은 서로 다른 시스템을 상호 연동해 동작시키기 위함이니, 연동 형식의 통일은 필요하지 않다.

답 : 2, 3, 4

해설 :

② 시스템과 전송 매체의 연결 지점에 대한 규격은 인터페이스이다.

③ 시스템이 데이터를 교환할 때는 소프트웨어적으로 동작하는 통신 규칙인 프로토콜이 필요하다

④인터페이스와 프로토콜은 서로 다른 시스템을 상호 연동해 동작시키기 위함이니, 연동 형식의 통일은 필요하다(표준화)

2. 프로토콜에 대한 설명으로 잘못된 것을 모두 고르시오.
① 논리적으로 상호 연동되는 시스템이 전송 매체를 통해 데이터를 교환할 때는 표준화된 대화 규칙을 따른다.
② 일반적으로 인터페이스는 상하관계가 아닌 동등한 위치에 있는 시스템 사이의 규칙이다.
③ 프로토콜은 두 시스템이 연동하기 위한 특정한 접촉 지점을 의미하는 경우가 많지만, 인터페이스와 비교하여 인용될 때는 상하 개념이 적용된다.
④ 인터페이스는 주고받는 데이터의 형식과 그 과정에서 발생하는 일련의 절차적 순서에 무게를 둔다.

답 : 2, 3, 4

해설 :

② 상하 관계과 아닌 동등한 위치에 있는 시스템 사이의 규칙은 프로토콜이다

③ 인터페이스는 두 시스템이 연동하기 위한 특정한 접촉 지점을 의미하는 경우가 많지만, 프로토콜과 비교하여 인용될 때는 상하 개념이 적용된다

④ 프로토콜은 주고 받는 데이터 형식과 그 과정에서 발생하는 일련의 절차적 순서에 무게를 둔다.

3. 시스템에 대한 설명으로 잘못된 것을 모두 고르시오.
① 노드는 컴퓨터 이론 분야에서 특정 시스템을 가리키는 가장 일반적인 용어로 사용된다.
② 노드는 인터넷 내부를 구성하는 라우터와 인터넷 바깥쪽에 연결되어 데이터를 주고받는 호스트로 구분된다.
③ 라우터는 기본으로 데이터 전송 기능을 포함한다.
④ 라우터의 주요 역할은 데이터 중개 기능이며, 인터넷 바깥쪽에 연결된 호스트들 사이의 데이터 전송이 인터넷 내부에서 최적의 경로를 통하여 이루어지도록 한다.
⑤ 호스트는 인터넷 바깥쪽에 연결되어 일반 사용자들의 네트워크 접속 창구 역할을 한다.
⑥ 호스트는 호스트 사이에 제공되는 서비스를 기준으로 클라이언트와 서버로 나눌 수 있다.

답: 없음

4. OSI 7계층 모델에 대한 설명으로 잘못된 것을 모두 고르시오.
① 다수의 시스템을 서로 연결해서 통신하려면 선행적으로 연결 방식을 표준화해야 한다.
② 국제 표준화 단체인 OSI에서는 OSI 7계층 모델을 제안하여, 네트워크에 연결된 시스템이 갖추어야 할 기본 구조와 기능을 상세히 정의하고 있다.
③ OSI 7계층 모델에 따르면, 네트워크에 연결된 호스트들은 7개 계층으로 모듈화된 전송 기능을 갖추어야 한다.
④ 일반 사용자는 OSI 7계층 맨 아래에 있는 물리 계층을 통해 데이터의 송수신을 요청한다.
⑤ 데이터 전송 과정에서 송수신 호스트 사이의 라우터들이 중개 기능을 수행한다. 일반적으로 라우터는 하위 3개 계층의 기능만 수행한다.

답 : 2, 4

해설 :

② 국제 표준화 단체인 ISO에서는 OSI 7계층 모델을 제안하여, 네트워크에 연결된 시스템이 갖추어야 할 기본 구조와 기능을 상세히 정의하고 있다.

④ 일반 사용자는 OSI 7계층 맨 위에 있는 응용 계층을 통해 데이터의 송수신을 요청한다

5. OSI 7계층 모델의 각 계층에 대한 설명으로 잘못된 것을 모두 고르시오.
① 물리 계층은 호스트를 전송 매체와 연결하기 위한 프로토콜 규칙과 전송 매체의 특성을 다룬다.
② 데이터 링크 계층은 네트워크 계층의 오류에 관한 오류 제어 기능을 수행하며, 이를 위해서는 오류의 발생 사실을 인지하는 기능과 오류 복구 기능이 필요하다.
③ 송신 호스트가 전송한 데이터가 수신 호스트까지 안전하게 도착하려면 여러 개의 중개 시스템인 라우터를 거쳐야 한다. 이 과정에서 데이터가 올바른 경로를 선택할 수 있도록 지원하는 계층이 네트워크 계층이다.
④ 전송 계층은 송신 프로세스와 수신 프로세스 간의 연결 기능을 제공하기 때문에 프로세스 사
이의 안전한 데이터 전송을 지원한다.
⑤ 세션 계층은 표현 계층에서 제공하는 연결의 개념과 유사한 세션 연결을 지원하지만, 이보다는 더 상위의 논리적 연결이다.

⑥ 표현 계층은 전송되는 데이터의 의미를 잃지 않도록 올바르게 표현하는 방법을 다룬다.

답 : 1, 2, 5

해설 :

① 물리 계층은 호스트를 전송 매체와 연결하기 위한 인터페이스 규칙과 전송 매체의 특성을 다룬다.

② 데이터 링크 계층은 물리 계층의 오류에 관한 오류 제어 기능을 수행하며, 이를 위해서는 오류의 발생 사실을 인지하는 기능과 오류 복구 기능이 필요하다.

⑤ 세션 계층은 전송 계층에서 제공하는 연결의 개념과 유사한 세션 연결을 지원하지만, 이보다는 더 상위의 논리적 연결이다.

6 인터넷 계층 모델에 대한 설명으로 잘못된 것을 모두 고르시오.
① 인터넷에서는 IP 프로토콜이 데이터 링크 계층의 기능을 수행한다.
② TCP와 UDP 프로토콜은 네트워크 계층의 기능을 수행한다.
③ 전송 계층 이하의 프로토콜들은 호스트의 운영체제 내부에서 구현된다.
④ 프로토콜 스택은 계층 구조로 이루어진 통신 프로토콜의 집합이다.

⑤ 통신하는 호스트 사이에는 중개 기능을 수행하는 라우터들이 존재할 수 있다.
⑥ 인터넷에서는 IP 프로토콜이 중개 기능을 수행하므로 라우터에는 계층 4까지의 프로토콜이
구현되어 있다.

답 : 1, 2, 6

해설:

① 인터넷에서는 IP가 네트워크 계층의 기능을 수행한다.

② TCP와 UDP 프로토콜은 전송 계층의 기능을 수행한다.

⑥ 인터넷에서는 IP프로토콜이 중개 기능을 수행하므로 라우터에는 계층 3까지의 프로토콜이 구현되어 있다.

7. 인터네트워킹 장비에 대한 설명으로 잘못된 것을 모두 고르시오.
① 리피터는 한쪽에서 입력된 신호를 물리적으로 단순히 증폭하여 다른 쪽으로 중개하는 역할을 한다.
② 브리지는 단순히 신호를 증폭하는 역할을 하며, 전송 과정에서 발생하는 물리적인 오류 문제는 다루지 않는다.
③ 브리지는 리피터 기능에 데이터 링크 계층의 기능이 추가된 것으로 물리 계층에서 발생한 오류를 해결해준다.
④ 라우터는 물리 계층, 데이터 링크 계층의 기능을 지원한다.
⑤ 라우터는 자신과 연결된 네트워크와 호스트들의 정보를 유지·관리함으로써 특정 경로가 이용 가능한지 여부와 다수의 경로 중에서 어느 경로가 빠른 데이터 전송을 지원하는지 판단할 수 있어야 한다.

답 : 2, 4

해설:

② 브리지는 리피터 기능에 데이터 링크 계층의 기능이 추가된 것으로 물리 계층에서 발생한 오류를 해결해준다.

④ 라우터는 물리 계층, 데이터 링크 계층, 네트워크 계층의 기능을 지원한다.

8. 데이터 단위에 대한 설명으로 잘못된 것을 모두 고르시오.
① 네트워크 프로토콜을 사용해 데이터를 교환할 때는 먼저 데이터를 특정 형태로 규격화하는 작업이 필요하다.
② 네트워크에서는 데이터를 프로토콜에서 정의된 데이터 규격에 맞춰 묶어주어야 한다. 이와 같은 한 단위의 규격으로 묶인 전송 데이터를 데이터 단위라 한다.
③ OSI 7계층 모델의 각 계층에서 규격화된 데이터는 고유 명칭이 있는데, 계층에 상관없이 사용할 때는 통칭하여 PDU라 부른다.
④ 데이터 링크 계층에서는 세그먼트라 부른다.
⑤ 네트워크 계층에서는 데이터그램이라 부른다.

답 : 4, 5

해설:

④ 데이터 링크 계층에서는 프레임이라 부른다.

⑤ 네트워크 계층에서는 패킷이라 부른다.

9. 주소에 대한 설명으로 잘못된 것을 모두 고르시오.
① 구분자의 가장 중요한 역할은 대상을 서로 구분하여 지칭하는 것이다.
② 처음 인터넷을 설계했을 때는 지금과 같은 규모로 인터넷이 이용될 것을 예측하지 못하여 인터넷 구분자인 IP 주소의 고갈 문제에 직면해 있다.

③ 시스템 설계 과정에서 부여되는 구분자는 시스템의 내부 처리 구조를 효율적으로 운용할 수 있도록 해주어야 한다.
④ 숫자로 된 이름과 문자로 된 주소를 모두 가지므로 이를 매핑하는 기능이 필요하다.
⑤ 구분자는 응용 환경에 필요한 다양한 정보를 포함하는 경우가 많다.

답 : 없음

10. IP 주소에 대한 설명으로 잘못된 것을 모두 고르시오.
① IP 주소는 전송 계층의 기능을 수행하는 IP 프로토콜이 호스트를 구분하기 위하여 사용하는 주소 체계이다.
② IP 주소는 32비트의 이진 숫자로 구성되는데, 보통 4비트씩 나누어 십진수로 표현한다.
③ 숫자로 된 주소는 외우기 어려우므로 문자로 된 http://www.korea.co.kr 등의 도메인 이름을 사용한다.
④ IP 주소는 유일성을 보장하기 위해서 국제 표준화 기구가 전체 주소를 관리하고 할당하기 때문에 중복 주소의 사용을 원천적으로 차단한다.
⑤ IP 주소로 표현할 수 있는 최대 주소 공간의 크기를 32비트로 제한함으로써 확장성에 많은 문제점이 야기되고 있다. 이를 해결하기 위하여 새로운 프로토콜인 IPv6에서는 주소 표현 공간을 64비트로 확장했다.

답 : 2, 5

해설 :

② IP 주소는 32비트의 이진 숫자로 구성되는데, 보통 8비트씩 네부분으로 나누어 십진수로 표현한다.

⑤ IP 주소로 표현할 수 있는 최대 주소 공간의 크기를 32비트로 제한함으로써 확장성에 많은 문제점이 야기되고 있다. 이를 해결하기 위하여 새로운 프로토콜인 IPv6에서는 주소 표현 공간을 128비트로 확장했다.

11. 호스트 파일을 이용한 주소 정보의 관리에 대한 설명으로 잘못된 것을 모두 고르시오.
① 호스트 이름과 IP 주소를 변환하는 간단한 방법은 특정 파일에 호스트 이름과 IP 주소의 조
합을 기록하여 관리하는 것이다.
② 네트워크 응용 프로그램에서는 사용자가 입력한 호스트 이름을 이 파일에서 검색하여 일대일로 대응된 IP 주소 정보를 쉽게 얻을 수 있다.
③ 호스트 파일은 한 줄에 하나의 호스트 정보가 기록되며, 보안을 위하여 암호 문서 형식으로 보관된다.
④ 네트워크 관리자는 관리 대상이 되는 모든 컴퓨터의 호스트 정보를 주기적으로 갱신해야 한다.
⑤ 호스트 파일을 갱신하고 복사하는 작업은 보통 시스템 관리자가 수작업으로 했었다.

답 : 3

해설:

③ 호스트 파일은 한 줄에 하나의 호스트 정보가 기록되며, 텍스트 문서 형식으로 보관된다.

12. DNS에 대한 설명으로 잘못된 것을 모두 고르시오.
① DNS는 주소와 이름 정보를 자동으로 유지하고 관리하는 분산 데이터베이스 시스템이다.

② 호스트 주소와 이름 정보는 네임 클라이언트라는 특정한 관리 호스트가 유지하고, 주소 변환 작업이 필요한 서버는 네임 클라이언트에 요청해서 IP 주소를 얻는다.
③ 네임 서버라는 명칭은 DNS 시스템의 이론에서 정의되는 용어로, 보통 DNS 서버라는 명칭이 사용된다.
④ DNS는 하나의 집중화된 네임 클라이언트가 전체 호스트의 정보를 관리하지 않고, 여러 네임 클라이언트에 분산하여 관리하도록 설계되었다.
⑤ 단일 구조의 네임 클라이언트는 자신이 관리하는 영역에 있는 호스트 정보만 관리하며, 정보를 상호 교환하는 협력 관계를 통해서 전체 호스트 정보를 일관성 있게 유지한다.

답: 2, 4, 5

해설:

② 호스트 주소와 이름 정보는 네임 서버라는 특정한 관리 호스트가 유지하고, 주소 변환작업이 필요한 서버는 네임 서버에 요청해서 IP 주소를 얻는다

④ DNS는 하나의 집중화된 네임서버가 전체 호스트의 정보를 관리하지 않고, 여러 네임 서버에 분산하여 관리하도록 설계되었다.

⑤ 계층 구조의 네임 클라이언트는 자신이 관리하는 영역에 있는 호스트 정보만 관리하며, 정보를 상호 교환하는 협력 관계를 통해서 전체 호스트 정보를 일관성 있게 유지한다.

13. 네트워크 관련 주소에 대한 설명으로 잘못된 것을 모두 고르시오.
① MAC 주소는 계층 2의 LLC 계층에서 사용하며, 일반적으로 LAN 카드에 내장되어 있다.
② 네트워크 계층이 전송 계층에 데이터 전송을 요청하면 먼저 IP 주소를 MAC 주소로 변환하는 작업이 이루어진다.
③ IP 주소는 인터넷에서 네트워크 계층의 기능을 수행하는 IP 프로토콜에서 사용되며, 송신자 IP 주소와 수신자 IP 주소로 구분된다.
④ 송신자 IP 주소는 IP 패킷이 지나가는 경로를 결정하는 라우팅의 기준이 된다.
⑤ 포트 주소는 전송 계층에서 사용하며, 호스트에서 실행되는 프로세스를 구분해준다.
⑥ 인터넷의 전송 계층 프로토콜인 TCP와 UDP번호 또는 소켓 주소라는 용어를 사용하기도 한다.

답: 1, 2, 4

해설:

① MAC 주소는 계층 2의 MAC계층에서 사용하며, 일반적으로 LAN 카드에 내장되어 있다.

② 네트워크 계층이 데이터링크 계층에 데이터 전송을 요청하면 먼저 IP 주소를 MAC 주소로 변환하는 작업이 이루어진다.

④ 수신자 IP 주소는 IP 패킷이 지나가는 경로를 결정하는 라우팅의 기준이 된다.

14. 네트워크는 하드웨어적인 ( ① )를 매개로 서로 연결되어 데이터를 교환하는 시스템의 모음이며, 시스템과 전송 매체의 연결 지점에 대한 규격이 ( ② )이다. 시스템이 데이터를 교환할 때는 소프트웨어적으로 동작하는 통신 규칙인 ( ③ )이 필요하다.

답 : ①전송매체 ②인터페이스 ③프로토콜

15. ( ① )은 전 세계의 모든 네트워크가 유기적으로 연결되어 동작하는 통합 네트워크이다. ( ① )은 데이터 전달 기능으로 IP 프로토콜을 사용한다. 즉, ISO의 7계층 모델에서 계층 3인 ( ② ) 계층의 기능을 IP 프로토콜이 수행한다.

답: ①인터넷 ②네트워크

16. ( ① )는 인터넷 내부를 구성하며, 기본으로 데이터 전송 기능을 포함한다. ( ① )의 주요 역할은 데이터 중개 기능이며, 인터넷 바깥쪽에 연결된 호스트들 사이의 데이터 전송이 인터넷 내부에서 최적의 ( ② )를 통하여 이루어지도록 한다.

답: ①라우터 ②경로

17. ( ① )는 임의의 인터넷 서비스를 이용하는 응용 프로그램이고, ( ② )는 서비스를 제공하는 응용 프로그램이다. 둘의 개념은 서비스 단위로 이루어지므로 임의의 호스트가 ( ① )나 ( ② )로 고정되지는 않는다. 그러므로 특정 서비스를 기준으로 상대적인 관점에서 클라이언트와 서버라는 용어를 사용한다.

답: ①클라이언트 ②서버

18. ( ① ) 계층은 물리 계층의 오류에 관한 오류 제어 기능을 수행하며, 이를 위해서는 오류의 발생 사실을 인지하는 기능과 오류 복구 기능이 필요하다. 대표적인 물리적 오류로는 데이터가 도착하지 못하는 데이터 분실과 내용이 깨져서 도착하는 데이터 변형이 있다. 일반적으로 컴퓨터 네트워크에서 오류 복구는 송신자가 원래의 데이터를 ( ② ) 하는 방식으로 처리한다.

답: ①데이터 링크 ②재전송

19. 송신 호스트가 전송한 데이터가 수신 호스트까지 안전하게 도착하려면 여러 개의 중개 시스템인 ( ① )를 거쳐야 한다. 이 과정에서 데이터가 올바른 경로를 선택할 수 있도록 지원하는 계층이 ( ② ) 계층이다. 네트워크 부하가 증가하면 특정 지역에 ( ③ )이 발생할 수 있는데, ( ③ ) 제어도 데이터의 전술 경로와 관계된다.

답: ①라우터 ②네트워크 ③혼잡

20. 컴퓨터 네트워크에서 데이터를 교환하는 최종 주체는 호스트가 아니고, 호스트 내부에서 실행되는 응용 네트워크 프로세스이다. ( ① ) 계층은 송신 프로세스와 수신 프로세스 간의 연결기능을 제공하기 때문에 프로세스 사이의 안전한 데이터 전송을 지원한다. 일반적으로 계층 4까지의 기능은 운영체제에서 ( ② ) 형태로 상위 계층에 제공하며, 계층 5~7의 기능은 응용프로그램으로 작성된다.

답: ①전송 ②시스템 콜

21. ( ① ) 계층은 전송되는 데이터의 의미를 잃지 않도록 올바르게 ( ① )하는 방법을 다룬다. 즉 정보를 교환하는 호스트들이 표준화된 방법으로 데이터를 인식할 수 있게 해준다. 또한 ( ② )과 데이터를 ( ③ )라는 기능도 중요하게 다루고 있다. 동영상과 같은 대용량의 멀티미디어 데이터를 ( ② ) 하면 전송 데이터의 양을 줄일 수 있다. ( ③ )는 네트워크 보안 기능의 하나이며, 외부의 침입자로부터 데이터를 안전하게 보호하는 기술이다.

답: ①표현 ②압축 ③암호화

22. 인터넷에서는 IP 프로토콜이 ( ① )계층의 기능을 수행하며, TCP와 UDP 프로토콜은 ( ② ) 계층의 기능을 수행한다. 이들 3개의 프로토콜은 인터넷 환경에서 사용자 데이터를 전송하는 핵심역할을 한다.

답: ①네트워크 ②전송

23. 네트워크와 네트워크의 연결을 ( ① )이라 하며, 연결되는 네트워크 수가 증가할수록 복잡도가 커진다. 인터넷은 IP 프로토콜을 지원하는 전 세계의 모든 네트워크가 반복 구조로 연결된 시스템을 의미하며, 계층 3 기능을 수행하는 ( ② )는 중개 장비를 사용해서 네트워크들을 연결한다.

답: ①인터네트워킹 ②라우터

24. 리피터는 단순히 신호를 증폭하는 역할을 하며, 전송 과정에서 발생하는 물리적인 오류 문제는 다루지 않는다. 이를 보완한 (①)는 리피터 기능에 (②) 계층의 기능이 추가된 것으로 물리 계층에서 발생한 오류를 해결해준다.

답: ①브리지 ②데이터 링크

25. 네트워크 프로토콜을 사용해 데이터를 교환할 때는 먼저 데이터를 특정 형태로 규격화하는 작업이 필요하다. 이들 데이터 링크 계층에서는 ( ① )이라 하고, 네트워크 계층에서는 ( ② )이라 한다. 전송 계층의 TCP 프로토콜은 ( ③ ), UDP 프로토콜은 ( ④ )이라 부른다.

답: ①프레임 ②패킷 ③세그먼트 ④데이터그램

26. 디지털 환경에서 숫자로 된 ( ① ) 표현 방식은 일반 사용자에게 불편하므로 보통은 외우기 쉬운 문자 형식의 ( ② )을 추가로 사용한다. ( ① )와 ( ② )은 일대일 관계에 있으며, 이들을 연결하는 기능이 필요하다.

답: ①주소 ②이름

27. 네트워크에는 여러 종류의 주소와 이름이 존재한다. 이는 각 계층의 기능을 담당하는 프로토콜마다 주소를 독립적으로 관리하기 때문이다. 예를 들어, IP 프로토콜은 호스트를 구분하기 위하여 ( ① )를 사용하며, 데이터 링크 계층에서는 LAN 카드별로 ( ② )를 따로 부여한다. 전송계층을 수행하는 TCP에서는 호스트에서 수행되는 네트워크 프로세스마다 별도의 ( ③ ) 주소를 할당하고 관리한다.

답: ①IP주소 ②MAC주소 ③포트

28. IP 주소는 네트워크 계층의 기능을 수행하는 IP 프로토콜이 호스트를 구분하기 위하여 사용하는 주소 체계이다. 임의의 호스트를 인터넷에 연결하려면 반드시 IP 주소를 할당받아야 한다. IP 주소는 ( ① )비트의 이진 숫자로 구성되는데, 보통 ( ② )비트씩 나누어 ( ③ )로 표현한다.

답: ①32 ②8 ③10진수

29. 일반 사용자가 호스트를 지칭할 때 사용하는 호스트 이름을 ( ① )이라 하며, 인터넷에서는 http://www.korea.co.kr과 같은 ( ① )을 IP 주소로 변환하는 작업이 필요하다. 초기 인터넷에서는 아주 간단한 방법으로 변환하였으나, 지금은 ( ② )라는 분산 데이터베이스 시스템을 사용해서 보다 체계적인 방법으로 관리하고 있다.

답: ①도메인 이름 ②DNS

30. ( ① )는 주소와 이름 정보를 자동으로 유지하고 관리하는 분산 데이터베이스 시스템이다. 호스트 주소와 이름 정보는 ( ② ) 라는 특정한 관리 호스트가 유지하고, 주소 변환 작업이 필요한 클라이언트는 ( ② )에 요청해서 IP 주소를 얻는다.

답: ①DNS ② 네임서버

Django session 로그인 연장 기능(feat. ajax)

개발자 박태영 — Thu, 10 Aug 2023 20:44:44 +0900

현재 Django로 ERP 중에 있는데 고객이 로그인연장을 요구하였다.

그래서 세션을 통해 로그인을 연장해보려고 했다.

프로세스는 로그인을 하고 15분동안 세션이 유지가 되며 로그인연장 버튼을 누르지 않으면 자동으로 로그아웃되는 형식이다.(은행과 비슷하다)

* 참고로 로그인 기능은 이미 완료된 상태이다

웹페이지(모자이크 후)

위 사진의 오른쪽 상단의 시간연장 버튼을 누르면 시간이 15:00으로 초기화가 되야한다.

#settings.py

MIDDLEWARE = [
    ...
    'django.contrib.sessions.middleware.SessionMiddleware',
    ...
]

django의 settings.py에는 위와 같이 session MIDDLEWARE가 등록되어 있기에 Import 하여 세션기능을 사용할 수 있다.

# settings.py

# Session 설정
SESSION_COOKIE_AGE = 900  # 15분

하단에 session 만료기한을 설정해준다. 초단위로 계산되므로 900초면 15분이다

# views.py

from django.shortcuts import redirect
from django.contrib.auth.decorators import login_required
from django.contrib import auth
from django.contrib.sessions.models import Session
from django.http import JsonResponse

...
## 로그아웃
@login_required
def logout(request):
    auth.logout(request)
    return redirect('account:login')

## 남은 세션 시간
@login_required
def remaining_session_time(request):
    session_key = request.session.session_key
    expire_date = Session.objects.get(pk=session_key).expire_date
    remaining_time = expire_date - timezone.now()
    return JsonResponse({'remaining_session_time':remaining_time.seconds})

## 세션 연장
@login_required
def extend_session(request):
    if request.method == 'GET':
        request.session.set_expiry(900)
        return JsonResponse({'result':'success'})
...

views.py에서 위와 같은 함수들을 구성했다.

logout 함수는 단순히 로그아웃 후 로그인 화면으로 돌아가는 함수이다.

remaining_session_time 함수는 남은 세션시간을 계산하여 JsonResponse로 return 해준다.

extend_session 함수는 세션시간 종료시간을 현재시간을 기준으로 900초로 다시 계산한다.

django_session 테이블

extend_session 함수가 사용가능한 이유는 DB에 위와 같이 django_session 테이블이 만들어지는데 로그인할때마다 한 행이 만들어지고 expire_date라고 세션 종료시간이 기록된다.

extend_session 함수를 통해 이 expire_date를 다시 갱신하는 것이다.

// session.js

/* START ajax csrf token */
function getCookie(name) {
  var cookieValue = null;
  if (document.cookie && document.cookie !== '') {
    var cookies = document.cookie.split(';');
    for (var i = 0; i < cookies.length; i++) {
      var cookie = cookies[i].trim();
      // Does this cookie string begin with the name we want?
      if (cookie.substring(0, name.length + 1) === (name + '=')) {
        cookieValue = decodeURIComponent(cookie.substring(name.length + 1));
        break;
      }
    }
  }
  return cookieValue;
}

var csrftoken = getCookie('csrftoken');

function csrfSafeMethod(method) {
  // these HTTP methods do not require CSRF protection
  return (/^(GET|HEAD|OPTIONS|TRACE)$/.test(method));
}
$.ajaxSetup({
  beforeSend: function (xhr, settings) {
    if (!csrfSafeMethod(settings.type) && !this.crossDomain) {
      xhr.setRequestHeader("X-CSRFToken", csrftoken);
    }
  }
});
/* END ajax csrf token */

var time;

// 남은 세션시간
function remaining_session_time() {
  $.ajax({
    type: 'GET',
    url: '/remaining_session_time/',
    dataType: 'json'
  }).done(function (data) {
    time = data['remaining_session_time'];
  });
}

// 세션 타이머
function session_timer() {
  if (time > 0) {
    time--;
    var minute = Math.floor(time / 60);
    var second = Math.floor(time % 60);
    if (second < 10)
      second = "0" + second;
    $('#sesson_time').text(`${minute}:${second}`);
  } else {
    alert("세션이 만료되었습니다. 다시 로그인해주세요.");
    clearInterval(timer);
    window.location.href = "/logout/";
  }
}

remaining_session_time(); // 남은 세션 시간 할당
timer = setInterval(session_timer, 1000); // timer 시작

// 세션 연장
$('#extend_submit').bind('click', function () {
  $.ajax({
    type: "GET",
    url: "/extend_session/",
    dataType: "json",
  }).done(function (data) {
    clearInterval(timer); // timer 삭제
    remaining_session_time(); // 남은 세션 시간 할당 
    timer = setInterval(session_timer, 1000); // timer 재시작
  }).fail(function (xhr, status, errorThrown) {
    console.log("error");
  });
});

위 코드를 보면 주석도 달았지만 윗부분은 Django와 ajax를 사용할 때 필요한 csrftoken 설정 코드들이다.

remaining_session_time 함수는 세션종료까지 남은 시간을 가져오는 함수이다

ajax로 views.py의 remaining_session_time 함수를 호출하여 return 값을 time변수에 할당한다.

session_timer 함수는 time함수에 할당된 시간(초)을 분과 초로 나누어 아이디가 session_time인 요소에 표현시킨다.

맨 밑쪽 코드는 jquery로 작성했는데 아이디가 extend_submit이라는 버튼을 클릭하면 views.py의 extend_session함수를 호출하여 세션을 연장시킨다.

js에서만 남은 세션 시간이 0초가 된다면 로그아웃되게 했기에 누군가가 악의적으로 script를 끄고 접속하면 이 기능이 작동안할까봐 확인을 했는데 django에서도 expire_time을 갖고 있으므로 설정시간 이후에 동작을 한다면 로그아웃 후 로그인페이지로 redirect 된다

수정(2023.09.17)

해당 기능은 로그인하면은 메인페이지로 이동이 되고, 서버에 session.js의 remaining_session_time함수를 통해 ajax로 세션시간을 바로 요청한다. 그러면 django에서는 views.py의 remaining_session_time함수를 통해 ORM으로 DB에서 값을 가져와 반환하는 것이다.

session에 관한 정보는 로그인하면 자동으로 DB에 쌓이는데 기능이 조금씩 쌓이고 서버가 무거워짐으로써 어쩔때는 session.js의 remaining_session_time함수가 요청할때 DB에 session 정보가 쌓이지 않아 의도한대로 이루어지지 않았다.

그래서 time변수를 기준으로 session_timer함수의 분기문에서 재귀조건을 추가하였다

// session.js

function getCookie(name) {
  var cookieValue = null;
  if (document.cookie && document.cookie !== '') {
    var cookies = document.cookie.split(';');
    for (var i = 0; i < cookies.length; i++) {
      var cookie = cookies[i].trim();
      // Does this cookie string begin with the name we want?
      if (cookie.substring(0, name.length + 1) === (name + '=')) {
        cookieValue = decodeURIComponent(cookie.substring(name.length + 1));
        break;
      }
    }
  }
  return cookieValue;
}

var csrftoken = getCookie('csrftoken');

function csrfSafeMethod(method) {
  // these HTTP methods do not require CSRF protection
  return (/^(GET|HEAD|OPTIONS|TRACE)$/.test(method));
}
$.ajaxSetup({
  beforeSend: function (xhr, settings) {
    if (!csrfSafeMethod(settings.type) && !this.crossDomain) {
      xhr.setRequestHeader("X-CSRFToken", csrftoken);
    }
  }
});

var time = null;

function remaining_session_time() {
  $.ajax({
    type: 'GET',
    url: '/remaining_session_time/',
    dataType: 'json'
  }).done(function (data) {
    time = data['remaining_session_time'];
    console.log(time); // for testing
  });
}

function session_timer() {
  if (time > 0) {
    time--;
    var minute = Math.floor(time / 60);
    var second = Math.floor(time % 60);
    if (second < 10)
      second = "0" + second;
    $('#sesson_time').text(`${minute}:${second}`);
  } else if(time == null){
    remaining_session_time();
    session_timer();
  }else{
    alert('세션이 만료되었습니다. 다시 로그인해주세요.');
    clearInterval(timer);
    window.location.href = "/logout/";
  }
}

remaining_session_time();
timer = setInterval(session_timer, 1000);

$('#extend_submit').bind('click', function () {
  $.ajax({
    type: "GET",
    url: "/extend_session/",
    dataType: "json",
  }).done(function (data) {
    clearInterval(timer);
    remaining_session_time();
    timer = setInterval(session_timer, 1000);
  }).fail(function (xhr, status, errorThrown) {
    console.log("error");
  });
});

Django DB 자동 삭제 문제 발견

개발자 박태영 — Tue, 18 Jul 2023 22:00:59 +0900

웹 사이트를 과거 연구실 선배님들이 만들었기에 현재는 유지 및 보수를 진행하고 있습니다.

제가 직접 짠게 아니라 전체적인 코드에 대해서는 잘 모르고 있는 상황입니다

얼마전부터 저희 연구실 홈페이지의 세미나 게시물이 삭제된다는 것을 알게되었습니다.

그래서 해결 해야겠다고 마음먹고 몇가지 추측과 확을 했습니다.

추측1. 스케줄링을 이용한 기한 후 자동삭제 기능

처음에는 스케줄링을 이용하여 기한 후 자동삭제 기능이 있나 확인하였습니다.

찾아본 결과 해당 기능은 없었습니다

추측2. DB에 해커가 침투했나?

예전에 MongoDB를 포트를 열어놓고 사용하다가 해커가 DB를 삭제한 적이 있어서 이번에도 의심해봤었습니다.

하지만 저희는 Django 기본DB인 sqlite3를 사용하고 있기 때문에 ORM으로만 조작이 가능하므로 배제하였습니다.

추측3. 누군가 삭제했나?

Django models.py에는 on_delete=on_cascade 속성이 있는데 특정 FK를 삭제하면 연관되어있는 것들도 삭제되기에 로그를 확인했습니다. Django admin 계정이 하나 뿐이라 admin 계정 로그를 확인하였지만 삭제한 기록은 없었습니다.

이렇게 3개의 추측을 갖고 확인을 해봤지만 소득이 없었습니다.

그래서 게시물 삭제 함수를 확인했습니다.

def DeleteSeminar(request,pk):
    db = Seminar.objects.get(pk=pk)
    db.delete()
    return redirect('/Seminar/View/')

확인해보니 위와 같이 HTTP프로토콜을 이용한 조건문도 없고, 로그인인증도 없어서 URL만 접속하면 누구나 지울수 있게끔 되있더라구요..

그래서 누가 방문하는지 확인해보려고 이 함수를 실행하면 IP로그가 남게끔 수정했습니다

(추측4. 이때 뭔가 구글 봇이 크롤링을 위해 방문하여 지울것 같다고 생각했습니다)

def get_client_ip(request):
    x_forwarded_for = request.META.get('HTTP_X_FORWARDED_FOR')
    if x_forwarded_for:
        ip = x_forwarded_for.split(',')[0]
    else:
        ip = request.META.get('REMOTE_ADDR')
    return ip  

def DeleteSeminar(request, pk):
    logger.info(f'{get_client_ip(request)}이 삭제함')
    db = Seminar.objects.get(pk=pk)
    db.delete()
    return redirect('/Seminar/View/')

위와 같이 코드를 수정하고 테스트 게시물을 만들었습니다.

시간이 지나고 게시물이 없어지며 로그가 남았습니다.

구글 봇의 소행

IP를 검색하니 구글이 맞았네요...후

DB가 많이 날라갔지만 그래도 찾아냈습니다!!!

def DeleteSeminar(request,pk):
    user_id = request.session.get('user_id')
    if not user_id :
        return redirect('/login')
    logger.info(f'{get_client_ip(request)}이 삭제함')
    db = Seminar.objects.get(pk=pk)
    db.delete()
    return redirect('/Seminar/View/')

마지막으로 로그인이 되어있지 않다면 삭제 못하게끔 수정하고 log남기는것도 그대로 놔두었습니다.

해당 사건을 빌미로 다른 함수들도 확인하니까 다 기존과 같이 짜놨더라구요... 모두 수정했습니다

그리고 DB Table들을 각각 PK순으로 정렬해서 보니까 많이 비어있는걸 확인했습니다.

전체 복구는 현재 멤버가 아닌 사람들도 있기에 어쩔수 없이 못하네요

예전에는 이러지 않았는데 어쩌다가 구글 검색엔진의 눈에 들어서ㅜㅜ

앞으로 구글 크롤링봇의 작동 매커니즘을 알아 볼것이고, 웹사이트 코드 리팩토링의 필요를 느꼈습니다.

앞으로 천천히 수정해야겠습니다.

Database 선택방법

개발자 박태영 — Wed, 5 Jul 2023 18:16:39 +0900

이번 세미나는 Database선택방법을 주제로 발표하였으며, RDBMS와 NoSQL를 비교하였습니다.