데이터 스트리밍이란?데이터를 일정한 크기의 청크(Chunk) 나 이벤트 단위로 끊임없이 실시간으로 전송하고 처리하는 방식이다. AI 를 사용할 때, 스트리밍 방식으로 해두면 중간 과정을 토큰으로 받아온다. 완료 후에 보내면 사용자가 너무 오래 기다리니까, AI 와 채팅할 때 중간중간 오는 것들이 데이터 스트리밍 방식이다.(생성 ➡️ 전송 ➡️ 렌더링) 데이터가 생성되는 즉시 처리하여 실시간성, 데이터의 시작과 끝이 정해져 있지 않고 계속 흘러가는 지속성, 메모리에 전체 데이터를 올릴 필요가 없어 효율성이 있다. Apache Kafka, Apache Flink, Spark Streaming, AWS Kinesis 등의 도구를 통해 구현할 수 있다. 데이터가 끝난 걸 어떻게 알까?스트리밍은 보통 이벤트 ..
1편 서버 구축 기본 개념 보러가기1편을 보고오는 게 AWS 서버 구축 시리즈의 포스팅을 이해하는 데 도움 된다. 이전에는 GCP(Google Cloud Platform) 를 사용하여 서버를 유지했었다. 그런데, 사용량이 많지 않음에도 불구하고 호출이 지연되거나 하는 등의 문제가 발생했다. 기존의 사용량으로 보아 AWS Lambda 의 무료 버전을 사용할 수 있다고 판단하였다. 이에 비용적인 측면의 부담을 줄이기 위해, 성능을 조금 포기하더라도 무료 비용인 서비스들을 연결하여 사용하는 것을 결정하였다. 일단 같은 무료 서비스이면서, GCP 의 성능보다 더 나은 것을 찾아보았다. (실제로 나은지는 모르겠음 ..) 데이터베이스: Neon (무료)백엔드: AWS Lambda (무료)API 엔드포인트: La..
서버와 클라우드 컴퓨팅서버는 서비스를 제공하는 컴퓨터이다. 우리가 사용하는 온라인 서비스들은 모두 서버에서 실행되고 있다. 서버 컴퓨터를 통해 특정 요청을 보내고, 서버는 그 요청을 처리하여 데이터를 우리에게 전송한다.클라우드 컴퓨팅은 기업들이 구축해놓은 데이터 센터의 컴퓨팅 자원을 빌려 쓰는 방식이다. 아래 외에도 여러 기업들이 서버를 제공하고 있다. 클라우드 서비스 제공자 (CSP) Amazon AWS (Amazon Web Services)가장 대중적인 선택지.프리티어 서비스도 제공Google GCP(Google Cloud Platform)Google이 운영하는 서비스로, 데이터 분석, 머신러닝, 네트워킹 분야에 강점Microsoft Azure 기존에 Windows 서버나 다른 MS 제품을 많이 ..
이전 편 보러가기 ⬇️[Jenkins] CI/CD 환경 구축 - 1편, 리눅스 환경 설정과 Jenkins 초기 설정[Jenkins] CI/CD 환경 구축 - 2편, Jenkins Job 생성 및 설정 젠킨스 Job DSL 이란?Job 을 Ansible 처럼 programmatic 하게 작성하고자 만들어진 플러그인이다. 늘어나는 Job 들을 일관된 템플릿으로 생성 및 관리할 수 있다. DSL 을 통해 Job을 생성하는 것을 Seed Job 이라고 한다. Job 에서 작성한 템플릿을 통해 다른 Job 들이 생성된다.* Job 이란 젠킨스에서 실행되는 각각의 작업이다. 플러그인 설치/업데이트1. Jenkins 관리 > Plugins > Available plugins 에서 NodeJS 다운로드.* 필자..
이전 편 보러가기 ⬇️[Jenkins] CI/CD 환경 구축 - 1편, 리눅스 환경 설정과 Jenkins 초기 설정 Jenkins Job 이란? Jenkins job 은 젠킨스에서 자동화된 작업을 정의하는 단위이다. 특정 작업을 수행하도록 설정할 수 있다. Jenkins Job 생성 1. 새로운 Item > Freestyle Project Shell Script (Execute Shell)2. Configure > Build Steps > Execute Shell 3. Shell 코드 입력* Shell 코드는 Jenkins 환경에서 터미널에 입력하는 구문이다. 4. Save > Build now (지금 빌드) 5. 빌드 목록 클릭 > Console Output > 출력된 콘솔 내용 확인 *..
Jenkins 란?Jenkins 는 자바 기반으로 만들어진 오픈 소스 자동화 서버이다. 소프트웨어 개발 프로세스의 CI/CD 를 지원하는 도구이다. 개발자들이 코드 변경 사항을 통합하고 배포하는 작업을 자동화할 수 있도록 돕는다.Jenkins 는 다양한 플러그인을 지원하여 쉽게 확장할 수 있다. 또한, 활성화된 커뮤니티로 문제 해결과 학습이 용이하다. 그리고 제일 중요한 !! 오픈 소스로 무료로 사용할 수 있다. CI/CD 란 ? DevOps 란? Linux 환경 구성이번 포스팅에서는 리눅스 환경을 설정하고 구성하는 방법에 대해 작성할 것이다. 먼저 리눅스 환경을 구성하기 위해 선택지가 있지만, 이번에는 클라우드 환경의 리눅스를 이용하는 방법을 작성하려고 한다. 가장 빠르고 향후 확장성이 좋다.Am..
CI (Continuous integration) 란?지속적 통합이라는 뜻이다. plan > code > build > test > release 까지의 과정이다. Test가 중심이 된다. 개발자들이 작성한 코드 변경 사항을 자주 통합하여 중앙 저장소에 업로드하는 과정이다. 코드 변경으로 인한 문제를 조기에 발견하고 해결하기 위함이다. > Test 가 중요하다.주요 도구 : Jenkins, Travis CI, Circle CI 등 ... CD (Continuous Delivery) 란?지속적 제공이라는 뜻이다. 코드가 테스트를 통과하면 자동으로 프로덕션 환경에 배포되는 것을 의미한다. 소프트웨어의 배포 시간을 단축하고, 신속하게 사용자에게 새로운 기능을 제공하기 위함이다.주요 도구 : Docker, K..
cafe24에서 다운받은 ssl.key 인증서에는 비밀번호가 걸려 있어 풀어줘야 한다. 풀어주지 않을 경우, apache 를 실행할 때마다 패스워드를 입력해야 한다. 패스워드를 풀어주면 apache 실행 시 패스워드를 매번 입력하지 않아도 된다.패스워드는 구매 시 입력한 패스워드이다. 1. ssl.key 파일이 위치한 경로로 이동한다.cd /data/ssl/cd {경로}# 각자의 경로에 맞게 입력 2. 암호 해제하기openssl rsa -in ssl.key -out ssl.keyopenssl rsa -in {ssl명 입력}.key -out {ssl명 입력}.key Enter pass phrase for ssl.key 가 나오면 비밀번호를 입력한다. 비밀번호는 보이지 않는 것이 정상이다. 입력 후,..
chown, chgrp, umask 는 모두 리눅스에서 파일과 디렉토리의 소유자 및 권한 관리를 위한 명령어이다. chown- Change Owner파일이나 디렉토리의 소유자를 변경한다.chown [옵션] [그룹] [파일] chgrp- Change Group파일이나 디렉토리의 그룹을 변경한다.chgrp [옵션] [그룹] [파일] umask- User Mask새로 생성되는 파일이나 디렉토리의 기본 권한을 설정한다. 파일이나 디렉토리가 생성될 때 어떤 권한이 기본적으로 허용되는지를 정의한다.umask [마스크값]ex) umask 022 는 새로 생성된 파일에 기본적으로 644의 권한 (소유자에게 읽기/쓰기, 그룹과 다른 사용자에게 읽기만 허용)을 설정한다. 요약chown: 파일의 소유자를 변경.c..
