일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 |
- instance
- DANAWA
- algorithm
- 크롤링
- keras
- adaptive life cycle
- analyzing
- opencv
- python
- angular
- tensorflow
- AWS
- pandas
- matplotlib
- 자바스크립트
- 애자일
- data analyze
- 다나와
- Scrum
- webcrawling
- 프로젝트
- TypeScript
- data
- Project
- Agile
- Method
- javascript
- visualizing
- ECS
- Crawling
- Today
- Total
목록AWS (11)
LiJell's 성장기
BackgroundI have been applied Lifecycle on bucket to expire object after 91 days. However, object can be fetched a few more days although objects aged more than 91 days. ReasonS3 object expirations are processed once a day, at an undetermined time starting at the beginning of each day (midnight 12 AM UTC). The process marks any object for deletion whose expiration date has expired. Amazon S3 the..
현재 AWS ECS와 EC2 Spot Instance 조합을 이용중이고, ECS managed instance draining기능 활성화로 spot capacity rebalancing상황을 컨트롤하고 있었습니다. 따라서, 의도치 않은 rebalancing과 같은 ASG의 활동으로 EC2 인스턴스의 종료를 방지하기 위한 목적으로 ECS에서 Managed Termination Protection 옵션을 활성화 시켰는데요, instance scale-in-protection에 문제가 발생하여 이 글을 작성하게 됐습니다. 개요 Managed Termination Protection을 사용하면 AWS ECS는 실행 중인 task가 없는 EC2 instance만 종료합니다. 하지만, 배포가 실행되어 새로운 con..
Abstract 최근 ECS에 ECS managed instance draining 기능이 추가되어 관련 내용을 공유하고자 이 글을 작성하게 됐는데요, AWS EC2 instance를 capacity provider로 사용하는 분들에게 이 글이 도움이 될 것 같습니다. 그 동안 AWS EC2 instance를 capacity provider로 사용하게되면 draining process 최적화를 위해 Auto Scaling lifecycle hooks 로 커스텀 컨트롤이 필요했습니다. How to Automate Container Instance Draining in Amazon ECS | Amazon Web Services Update 24 Aug 2023: The approach described in..
Building Multi-architecture Container Images and Deploying for Multi-Region in parallel way 개요 저는 ECS EC2 spot instance 가용성과 안정성 확보를 위해서 amd64와 arm64 모두 사용중입니다. 따라서, container도 multi-architecture 빌드가 필요했습니다. 저는 이미지 빌드 최적화와 여러 regions에 동시 배포를 위해 manifest list를 활용했습니다. 결과적으로 Github Action matrix를 통해 빠르게 각 regions에 이미지 push와 배포할 수 있습니다. ps) if you need a English version, you can check out following..
개요 이 글을 쓰게된 이유는 비용 절감을 위해 ECS Fargate에서 ECS EC2 Spot instance로 전환하면서 발생한 문제로 작성하게 됐다. Capacity Provider로 Fargate 이용시 task scaling이 빠른데 비하여, EC2 Spot instance를 이용시 instance 생성할 때 그리고 생성된 isntance를 capacity provider에 배치할 때 두번 시간이 들기 때문에 instace에 배정될 task 뿐만 아니라 instance의 scaling out 속도 개선이 절실했다. Amazon EC2 Auto Scaling의 웜 풀 등 다른 대안도 있지만, 혼합 인스턴스 그룹은 지원하지 않기 때문에 다른 부분에서 최적화가 필요했다. 방법 1. Capacity pr..
개요 나는 ECS capacity provider를 Fargate에서 Spot Instance로 전환 중이였고, 안정성을 위한 EC2 Auto Scaling Multiple Launch Templates을 적용하며 겪은 내용을 정리해봤다. 문제점 ECS capacity provider를 EC2 spot instance로 전환하면서 안정성을 위해 multiple launch templates을 사용하고자 했습니다. 하지만, ARM architecture family instance만 적용이 되고 X86 architecture family instance는 찾아볼 수 없었습니다. 그에 대한 원인은 MixedInstancesPolicy configureation의 오류였습니다. 원인 작업은 Terraform에..
max-age와 s-maxage는 HTTP Cache-Control 헤더에서 사용되는 지시어입니다. 이 지시어들은 리소스가 얼마 동안 캐시에 유지될 수 있는지를 초 단위로 지정합니다. max-age max-age 지시어는 브라우저와 같은 개인(프라이빗) 캐시에 적용됩니다. 작동 방식: 이 지시어가 설정되면, 지정된 시간(초) 동안은 웹 서버에 새로운 요청을 보내지 않고 캐시에 저장된 데이터를 사용합니다. 예시 max-age=3600은 브라우저가 해당 리소스를 1시간 동안 캐시해야 함을 의미합니다. s-maxage s-maxage 지시어는 공유(셰어드) 캐시에 적용됩니다. 예를 들어, CDN과 같은 중간 캐시가 여기에 해당합니다. 작동 방식: s-maxage는 공유 캐시가 해당 리소스를 얼마나 오랫동안 캐..
안녕하세요. 라이젤입니다. 이번 글에서는 NAT GateWay와 이중화의 중요성에 대한 내용을 이야기 해보려합니다. NAT Gateway란 NAT Gateway에서 NAT은 Network Address Translation의 약자입니다. NAT Gateway는 주로 Private subnet에 위치한 리소스들이 인터넷과 통신하는데 사용되고, 보안적으로 중요한 리소스들을 외부 인터넷과의 직접적인 연결로부터 보호하기 위함입니다. NAT Gateway의 주요 특징과 동작 방식 Internet Communication Support: NAT Gateway는 외부 통신을 위해 Public Subnet에 위치하며, Private Subnet에 위치한 리소스들이 인터넷과 통신할 수 있도록 해줍니다. Private S..
1. 보안그룹이란 ( Security Group) AWS 보안 그룹은 AWS 리소스로 들어오고 나가는 트래픽을 제어하는 가상 방화벽으로 Inbound & outbound traffic을 모두 제어합니다. 2. Rule Inbound traffic은 default로 허용되지 않기 때문에, 보안 그룹 규칙에서 허용하려는 Inbound traffic을 지정해야 합니다. 특정 IP 주소 또는 IP 주소 범위, 특정 프로토콜 (예 : TCP, UDP, ICMP) 및 특정 포트를 허용하는 규칙을 지정할 수 있습니다. 결과적으로 보안 그룹 규칙에서 허용되는 요청만 허용합니다. Outbound rules는 반대로 데이터가 나갈 때 control하기 위함인데, 일반 유저를 대상으로 하는경우 일반적으로 모두 허용해 둡니다..