Работа с AWS S3 и Terraform в Unix/Linux

Amazon S3 – (Amazon Simple Storage Service) — это объектное хранилище, предназначенное для хранения и извлечения любых объемов данных из любых источников: веб-сайтов и мобильных приложений, корпоративных приложений, а также данных с датчиков или устройств IoT. Сервис гарантирует надежность хранения на уровне 99,999999999 % и используется для хранения данных миллионами приложений, применяемых лидерами рынка во всех отраслях. S3 открывает широчайшие возможности для обеспечения безопасности и соответствия согласно самым строгим нормативным требованиям. Сервис дарит клиентам гибкость в управлении данными, обеспечивая оптимизацию затрат, контроль доступа и соответствие требованиям. S3 предоставляет функциональные возможности для выполнения запросов к данным без извлечения, что позволяет использовать мощные аналитические инструменты для непосредственной обработки данных, хранимых в S3. Amazon S3 – это самая поддерживаемая из доступных платформ хранения с наиболее широкой экосистемой решений сторонних независимых поставщиков (ISV) и партнеров по интеграции решений.

Установка terraform в Unix/Linux

Установка крайне примитивная и я описал как это можно сделать тут:

Установка terraform в Unix/Linux

Так же, в данной статье, я создал скрипт для автоматической установки данного ПО. Он был протестирован на CentOS 6/7, Debian 8 и на Mac OS X. Все работает должным образом!

Чтобы получить помощь по использованию команд, выполните:

$ terraform
Usage: terraform [--version] [--help] <command> [args]

The available commands for execution are listed below.
The most common, useful commands are shown first, followed by
less common or more advanced commands. If you're just getting
started with Terraform, stick with the common commands. For the
other commands, please read the help and docs before usage.

Common commands:
    apply              Builds or changes infrastructure
    console            Interactive console for Terraform interpolations
    destroy            Destroy Terraform-managed infrastructure
    env                Workspace management
    fmt                Rewrites config files to canonical format
    get                Download and install modules for the configuration
    graph              Create a visual graph of Terraform resources
    import             Import existing infrastructure into Terraform
    init               Initialize a Terraform working directory
    output             Read an output from a state file
    plan               Generate and show an execution plan
    providers          Prints a tree of the providers used in the configuration
    push               Upload this Terraform module to Atlas to run
    refresh            Update local state file against real resources
    show               Inspect Terraform state or plan
    taint              Manually mark a resource for recreation
    untaint            Manually unmark a resource as tainted
    validate           Validates the Terraform files
    version            Prints the Terraform version
    workspace          Workspace management

All other commands:
    debug              Debug output management (experimental)
    force-unlock       Manually unlock the terraform state
    state              Advanced state management

Приступим к использованию!

Работа с AWS S3 и Terraform в Unix/Linux

У меня есть папка terraform, в ней у меня будут лежать провайдеры с которыми я буду работать. Т.к в этом примере я буду использовать AWS, то создам данную папку и перейду в нее. Далее, в этой папке, стоит создать:

$ mkdir examples modules

В папке examples, я буду хранить так званые «плейбуки» для разварачивания различных служб, например — zabbix-server, grafana, web-серверы и так далее. В modules директории, я буду хранить все необходимые модули.

Начнем писать модуль, но для этой задачи, я создам папку:

$  mkdir modules/s3

Переходим в нее:

$ cd modules/s3

Открываем файл:

$ vim s3.tf

В данный файл, вставляем:

#---------------------------------------------------
# Create S3 bucket
#---------------------------------------------------
resource "aws_s3_bucket" "s3_bucket" {
    #bucket_prefix = "${var.bucket_prefix}"
    bucket = "${lower(var.name)}-s3-${lower(var.environment)}"
    region = "${var.region}"

    acl    = "${var.s3_acl}"
    policy = "${file("${path.module}/policies/${var.s3_acl}-policy.json")}"
    #Add website
    website     = "${var.website}"
    #Add cors rules
    cors_rule   = "${var.cors_rule}"
    #Add logging
    logging {
        target_bucket = "${lower(var.name)}-s3-${lower(var.environment)}"
        target_prefix = "/log"
    }
    #Add versioning
    versioning {
        enabled = "${var.enable_versioning}"
    }
    #Add lifecycle rule
    lifecycle_rule  {
        id      = "${lower(var.name)}-lifecycle_rule-${lower(var.environment)}"
        enabled = "${var.enable_lifecycle_rule}"

        prefix = "${var.lifecycle_rule_prefix}"
        tags {
            Name            = "${lower(var.name)}-lc_rule-${lower(var.environment)}"
            Environment     = "${var.environment}"
            Orchestration   = "${var.orchestration}"
            Createdby       = "${var.createdby}"
        }

        noncurrent_version_expiration {
            days = "${var.noncurrent_version_expiration_days}"
        }

        noncurrent_version_transition {
            days          = "${var.noncurrent_version_transition_days}"
            storage_class = "GLACIER"
        }

        transition {
            days          = "${var.standard_transition_days}"
            storage_class = "STANDARD_IA"
        }

        transition {
            days          = "${var.glacier_transition_days}"
            storage_class = "GLACIER"
        }

        expiration {
            days = "${var.expiration_days}"
        }
    }
    #Add server side encryption configuration
    server_side_encryption_configuration {
        rule {
            apply_server_side_encryption_by_default {
                kms_master_key_id = "${aws_kms_key.kms_key.arn}"
                sse_algorithm     = "aws:kms"
            }
        }
    }

    force_destroy   = "${var.force_destroy}"

    tags {
        Name            = "${lower(var.name)}-s3-${lower(var.environment)}"
        Environment     = "${var.environment}"
        Orchestration   = "${var.orchestration}"
        Createdby       = "${var.createdby}"
    }
    lifecycle {
        create_before_destroy = true
    }

    depends_on  = ["aws_kms_key.kms_key"]
}
#---------------------------------------------------
# Create AWS KMS key
#---------------------------------------------------
resource "aws_kms_key" "kms_key" {
    #count                   = "${var.enable_default_server_side_encryption ? 1 : 0}"
    description             = "This key is used to encrypt bucket objects"
    deletion_window_in_days = 10
}

Открываем файл:

$ vim variables.tf

И прописываем:

#-----------------------------------------------------------
# Global or/and default variables
#-----------------------------------------------------------
variable "name" {
  description = "Name to be used on all resources as prefix"
  default     = "TEST-S3"
}

variable "region" {
  description = "The region where to deploy this code (e.g. us-east-1)."
  default     = "us-east-1"
}

variable "environment" {
    description = "Environment for service"
    default     = "STAGE"
}

variable "orchestration" {
    description = "Type of orchestration"
    default     = "Terraform"
}

variable "createdby" {
    description = "Created by"
    default     = "Vitaliy Natarov"
}

variable "bucket_prefix" {
    description = "Creates a unique bucket name beginning with the specified prefix. Conflicts with bucket."
    default     = ""
}

variable "s3_acl" {
    description = "The canned ACL to apply. Defaults to 'private'."
    default     = "private"
}

variable "enable_versioning" {
    description = "A state of versioning"
    default     = false
}

variable "force_destroy" {
    description = "A boolean that indicates all objects should be deleted from the bucket so that the bucket can be destroyed without error. These objects are not recoverable."
    default     = false
}

variable "website" {
    description = "List of website fields"
    type        = "list"
    default     = []
}

variable "routing_rules" {
    description = "Routing rules"
    type        = "list"
    default     = []
}

variable "cors_rule" {
    description = "Cors rules"
    type        = "list"
    default     = []
}

variable "logging" {
    description = "Add logging rules"
    type        = "list"
    default     = []
}

variable "enable_lifecycle_rule" {
    description = "Enable lifecycle rule"
    default     = true
}

variable "lifecycle_rule_prefix" {
    description = " Set prefix for lifecycle rule"
    default     = ""
}

variable "noncurrent_version_expiration_days" {
    description = "(Optional) Specifies when noncurrent object versions expire."
    default     = "90"
}

variable "noncurrent_version_transition_days" {
    description = "(Optional) Specifies when noncurrent object versions transitions"
    default     = "30"
}

variable "standard_transition_days" {
    description = "Number of days to persist in the standard storage tier before moving to the infrequent access tier"
    default     = "30"
}

variable "glacier_transition_days" {
    description = "Number of days after which to move the data to the glacier storage tier"
    default     = "60"
}

variable "expiration_days" {
    description = "Number of days after which to expunge the objects"
    default     = "90"
}

Собственно в этом файле храняться все переменные. Спасибо кэп!

Открываем последний файл:

$ vim outputs.tf

И в него вставить нужно следующие строки:

output "bucket_ids" {
    description = "bucket_id"
    value       = "${aws_s3_bucket.s3_bucket.*.id}"
}

//the arn of the bucket that was created
output "bucket_arns" {
    value = "${aws_s3_bucket.s3_bucket.*.arn}"
}

output "bucket_domain_names" {
    value = "${aws_s3_bucket.s3_bucket.*.bucket_domain_name}"
}

Переходим теперь в папку aws/examples и создадим еще одну папку для проверки написанного чуда:

$ mkdir s3 && cd $_

Внутри созданной папки открываем файл:

$ vim main.tf

И вставим в него следующий код:

#
# MAINTAINER Vitaliy Natarov "vitaliy.natarov@yahoo.com"
#
terraform {
  required_version = "> 0.9.0"
}
provider "aws" {
    region  = "us-east-1"
    # alias = "us-east-1"
    shared_credentials_file = "${pathexpand("~/.aws/credentials")}"
     # access_key = "${var.aws_access_key}"
     # secret_key = "${var.aws_secret_key}"
}

module "s3" {
    source                              = "../../modules/s3"
    name                                = "My-backet"
    environment                         = "PROD"

    #
    s3_acl          = "log-delivery-write"  #"private"
    force_destroy   = "true"
    # Allow public web-site (Static website hosting)
    website         = [
    {
        index_document = "index.html"
        error_document = "error.html"
        #redirect_all_requests_to = "https://s3-website.linux-notes.org"
    },
    ]
    # Use cors rules
    cors_rule       = [
    {
        allowed_headers = ["*"]
        allowed_methods = ["PUT", "POST"]
        allowed_origins = ["https://s3-website.linux-notes.org"]
        expose_headers  = ["ETag"]
        max_age_seconds = 3000
    },
    ]


}

PS: Тут имеются вспомогательные модули. Я описывал работу тут:

Работа с AWS IAM и Terraform в Unix/Linux

Работа с AWS VPC и Terraform в Unix/Linux

Еще полезности:

Работа с AWS EC2 и Terraform в Unix/Linux

Работа с AWS ASG(auto scaling group) и Terraform в Unix/Linux

Работа с AWS ELB и Terraform в Unix/Linux

Работа с AWS Route53 и Terraform в Unix/Linux

Работа с AWS RDS и Terraform в Unix/Linux

Все уже написано и готово к использованию. Ну что, начнем тестирование. В папке с вашим плейбуком, выполняем:

$ terraform init

Этим действием я инициализирую проект. Затем, подтягиваю модуль:

$ terraform get

PS: Для обновление изменений в самом модуле, можно выполнять:

$ terraform get -update

Проверим валидацию:

$ terraform validate

Запускем прогон:

$ terraform plan

Мне вывело что все у меня хорошо и можно запускать деплой:

$ terraform apply

Как видно с вывода, — все прошло гладко! Чтобы удалить созданное творение, можно выполнить:

$ terraform destroy

Весь материал аплоаджу в github аккаунт для удобства использования:

$ git clone https://github.com/SebastianUA/terraform.git

Вот и все на этом. Данная статья «Работа с AWS S3 и Terraform в Unix/Linux» завершена.