기본 콘텐츠로 건너뛰기

Google App Engine의 Database 비용 줄이기

얼마전 iOS 개발자로 일하고 있는 친구와 함께 사진 공유 App을 런칭했다. (App Store Link). 어차피 돈 벌기 위한 작업이 아니었으므로 서버 비용을 최소화하는 방법으로 구현했다.

1. 사진 데이터는 Facebook에 올린다.

2. 우리 App에서 보여주기 위한 데이터(순위, 투표 현황 등)는 Google App Engine에 저장한다. 1 GB까지 무료이므로 어느정도 수준까지 무료로 서비스 가능. 이 이상이면 소액 지출로 해결한다. 1GB 이상의 데이터가 쌓일 정도면 일정 수준 성공한 서비스이므로 광고 등으로 유지 비용을 벌 수 있을 것이라 판단.

3. iOS App에서 cache를 적절히 활용하여 Google App Engine에 조회를 최소화한다.

위와 같은 방식으로 하면 초기 비용 없이 서비스를 한동안 제공할 수 있을 것이라 생각하고 App을 한달전 쯤 런칭하였는데... 딱 일주일만에 Google App Engine의 DB read 동작이 무료로 제공되는 한계치를 넘을려 하고 있었다. 어쩔 수 없이 유료화로 전환하여 약간의 비용을 지출하게 되었는데.

실제 사용자 수에 비해 DB read 횟수가 많아 보여 이를 감소하는 방법을 찾아 적용하였다. 혹시, Google App Engine을 사용하여 서비스를 구축하려는 분들에게 도움이 될 듯 싶어 공유한다.

DB read 동작 횟수에 대한 정확한 이해가 필요

  • Entity를 읽으면 무조건 1회의 read 동작
  • Query를 실행하면 1회, Query에서 얻어지는 모든 Entity에 대해 1회의 read 동작 (read는 100k 당 0.07 USD)
  • Key만 조회하는 Query의 경우는 read 1회에 Query에서 얻어지는 모든 Entity Key에 대해 1회의 small 동작 (small은 100k 당 0.01 USD)
즉, Entity를 얻어오는 동작을 최소화하고 Query를 실행 시 Key 값만으로도 충분하다면 언제나 Key only 조회를 실행하는 것이 비용을 줄일 수 있다.

실제 구현은 어떻게?

1. GAE (Google App Engine)이 제공하는 memcache를 활용하여 DB의 물리적인 read를 줄인다. 성능의 이점뿐 아니라 비용을 줄일 수 있다.
2. Query를 실행 시 되도록 Key only Query를 사용한다. 1/7로 비용을 줄일 수 있다.
3. fetch의 offset 인자 대신 Cursor를 사용한다. fetch의 offset을 이용하여 특정 데이터를 skip시 read 동작으로 count 되기 때문이다. 더 자세한 설명은 아래 GAE 문서에서 발췌한 Note를 참고.
Note: Using an offset only avoids returning the skipped entities to your application, but these entities are still retrieved internally. The skipped entities do affect the latency of the query, and your application is billed for the read operations required to retrieve them. To avoid these costs, it is often better to use a query cursor instead of an offset.

4. Query를 이용하여 for loop에서 Entity를 가져오는 대신 Model의 get(keys) 를 이용하는 것이 read 횟수를 줄일 수 있다. Query의 경우 Query 1회, Entity 가져오기 1회의 read 동작이 필요하고 get(keys)는 Entity를 가져오는 1회의 동작만 필요하다.

References:

댓글

이 블로그의 인기 게시물

Wireless: HotSpot 2.0 이란?

스마트폰 사용자가 HotSpot 2.0을 지원하는 Wi-Fi 망을 사용하는 경우라면 기존 Wi-Fi 망과 달리 이동통신 망에서 Wi-Fi 망으로의 네트워크 연결 전환이 자연스럽게 이루어진다. 예를 들면, 3G 네트워크를 이용하여 영화를 보고 있다가 HotSpot 2.0 네트워크에 연결이 가능하게 되면 영화 시청 중단 없이 Wi-Fi 망으로 자연스럽게 네트워크 연결이 이동하여 3G 망의 부하도 줄이고 사용자의 네트워크 비용도 절약할 수 있다. 시스코에서 제공한 White Paper 를 참고.

Apple M1 Mac Mini에서 이더리움 (Ethereum) 채굴하기

 돈을 벌 목적은 아니고 이더리움 기술에 대한 호기심에 직접 채굴(마이닝)에 나서 보기로 했다. 머신은 Apple M1 Mac Mini. 스팩을 살펴보니 8 Core GPU에 16GB 메모리를 공유하고 있어 가능은 해보인다. 큰 흐름은 다음과 같다. 채굴한 이더리움을 저장할 지갑을 만든다 만든 지갑의 정보를 잘 보관해둔다 (Secret Recovery Phrase, 지갑의 주소 값) Apple M1용 채굴 프로그램 설치 내 지갑 정보를 이용해서 채굴 프로그램 실행 일단, 채굴한 이더리움을 저장할 지갑(wallet)을 만들어야 한다.  크롬 브라우저 익스텐션 설치로 비교적 간단하게 지갑을 만들 수 있는  https://metamask.io/ 를 이용하기로 했다. 크롬 익스텐션을 설치 후 기존에 만든 지갑이 없으므로 "Create a Wallet"을 선택한다. 패스워드 입력하고 등등의 절차를 거치면 아래와 같은 Secret Recovery Phrase가 나온다. 이 값을 잘 보관해두기 바란다. 나중에 지갑을 복구할 때 필요한 값이다. 이 값이 유출되면 지갑에 모아둔 이더리움을 다 털릴 수 있으므로 안전한 곳에 보관한다. Confirm Your Secret Phrase에서 확인 과정을 거친다. 직접 입력하는 것이 아니라 단어 별 버튼을 일일이 클릭해서 확인해주어야 한다. (좀 번거롭지만 그만큼 Secret Recovery Phrase가 중요함을 인지시키기 위한 과정이다.) 이제 지갑은 준비 완료. 생성된 Account 화면에서 지갑의 주소갑을 얻을 수 있다.  Apple M1용 채굴 프로그램을 설치해보자. Ethminer M1 Github 프로젝트 에서 미리 컴파일된 바이너리를 다운로드 받는다. (Assets를 펼치고 ethminer-m1을 클릭해서 다운 받으면 된다) 원하는 폴더에 파일을 옮겨 놓고 Terminal에서 chmod +x로 실행가능하게 만든다. % mv ~/Downloads/ethminer-m1 .   ...

SKT HSS 서버 해킹 사태에서 USIM 교체의 보안 효과

최근 발생한 SKT의 HSS(Home Subscriber Server) 서버 해킹 사건은 이동통신망의 핵심 인프라를 겨냥한 중대한 보안 위협입니다. IT 및 통신 보안 전문가의 관점에서 이번 사태의 기술적 내용을 이해하고, USIM 교체가 왜 효과적인 대응 방안이 될 수 있는지 설명드리겠습니다. HSS(Home Subscriber Server)란 무엇인가? HSS는 이동통신망의 핵심 구성 요소로서, 가입자에 대한 모든 인증, 권한 부여, 이동성 관리 정보를 저장하고 관리하는 중앙 집중식 데이터베이스입니다. 쉽게 말해, 이동통신 가입자의 '마스터 키'와 같은 역할을 수행합니다. 휴대폰을 켜거나 기지국에 연결될 때마다 단말기는 USIM(Universal Subscriber Identity Module)에 저장된 정보를 이용하여 HSS에 접근하고, HSS는 해당 가입자가 네트워크에 접속하고 서비스를 이용할 수 있는 정당한 사용자인지 확인하는 인증 절차를 수행합니다. HSS에 저장되는 주요 정보에는 다음과 같은 민감한 데이터가 포함됩니다. IMSI (International Mobile Subscriber Identity): 가입자를 고유하게 식별하는 국제 표준 식별자입니다. USIM 인증 키 (Authentication Key): USIM과 HSS 간의 상호 인증에 사용되는 비밀 키입니다. 이 키는 통신 세션 설정 시 무단 접근을 방지하는 데 필수적입니다. 서비스 프로파일: 가입자가 어떤 서비스(음성 통화, 데이터 통신, 부가 서비스 등)를 이용할 수 있는지에 대한 정보입니다. 이동성 관리 정보: 가입자의 현재 위치 정보 등을 관리하여 통신 연결을 유지합니다. SKT HSS 서버 해킹의 기술적 의미 이번 SKT HSS 서버 해킹은 공격자가 이동통신망의 가장 민감한 정보를 관리하는 핵심 시스템에 침투했다는 점에서 심각성을 가집니다. 정확한 공격 경로는 조사를 통해 밝혀지겠지만, 일반적으로 HSS와 같은 중요 서버는 외부 인터넷과 분리된...