Работа с AWS MQ broker и Terraform в Unix/Linux

Amazon MQ – управляемый сервис брокера сообщений для Apache ActiveMQ. Он позволяет без труда настраивать в облаке брокеры сообщений и работать с ними. Брокеры сообщений обеспечивают различным программным системам – зачастую написанным на разных языках программирования для различных платформ – возможность связываться между собой и обмениваться информацией. Система обмена сообщениями – это коммуникационная магистраль, позволяющая связать и интегрировать компоненты распределенных приложений, например систем обработки заказов, складского учета и выполнения заказов в интернет-коммерции. Сервис Amazon MQ работает с популярным брокером сообщений ActiveMQ с открытым исходным кодом, осуществляя управление системой и ее обслуживание. Ресурсы базовой инфраструктуры автоматически выделяются для обеспечения высокой доступности и сохранности сообщений, поддерживая таким образом надежную работу приложений. Amazon MQ позволяет получить прямой доступ к консоли ActiveMQ, а также стандартным отраслевым API и протоколам службы сообщений, в том числе JMS, NMS, AMQP, STOMP, MQTT и WebSocket. Перейти на Amazon MQ с любого другого брокера сообщений, использующего перечисленные стандарты, очень просто: переписывать программный код приложений в части обмена сообщениями не потребуется.

Начать работу с Amazon MQ легко. Запустить брокер сообщений можно за считаные минуты в Консоли управления AWS или с помощью интерфейса командной строки (CLI). Amazon MQ не требует предварительных вложений в аппаратное или программное обеспечение и минимальных платежей. Оплачивается только фактическое использование инстанса брокера и хранилища.

Установка terraform в Unix/Linux

Установка крайне примитивная и я описал как это можно сделать тут:

Установка terraform в Unix/Linux

Так же, в данной статье, я создал скрипт для автоматической установки данного ПО. Он был протестирован на CentOS 6/7, Debian 8 и на Mac OS X. Все работает должным образом!

Чтобы получить помощь по использованию команд, выполните:

$ terraform
Usage: terraform [--version] [--help] <command> [args]

The available commands for execution are listed below.
The most common, useful commands are shown first, followed by
less common or more advanced commands. If you're just getting
started with Terraform, stick with the common commands. For the
other commands, please read the help and docs before usage.

Common commands:
    apply              Builds or changes infrastructure
    console            Interactive console for Terraform interpolations
    destroy            Destroy Terraform-managed infrastructure
    env                Workspace management
    fmt                Rewrites config files to canonical format
    get                Download and install modules for the configuration
    graph              Create a visual graph of Terraform resources
    import             Import existing infrastructure into Terraform
    init               Initialize a Terraform working directory
    output             Read an output from a state file
    plan               Generate and show an execution plan
    providers          Prints a tree of the providers used in the configuration
    push               Upload this Terraform module to Atlas to run
    refresh            Update local state file against real resources
    show               Inspect Terraform state or plan
    taint              Manually mark a resource for recreation
    untaint            Manually unmark a resource as tainted
    validate           Validates the Terraform files
    version            Prints the Terraform version
    workspace          Workspace management

All other commands:
    debug              Debug output management (experimental)
    force-unlock       Manually unlock the terraform state
    state              Advanced state management

Приступим к использованию!

Работа с AWS MQ broker и Terraform в Unix/Linux

У меня есть папка terraform, в ней у меня будут лежать провайдеры с которыми я буду работать. Т.к в этом примере я буду использовать AWS, то создам данную папку и перейду в нее. Далее, в этой папке, стоит создать:

$ mkdir examples modules

В папке examples, я буду хранить так званые «плейбуки» для разварачивания различных служб, например — zabbix-server, grafana, web-серверы и так далее. В modules директории, я буду хранить все необходимые модули.

Начнем писать модуль, но для этой задачи, я создам папку:

$  mkdir modules/mq

Переходим в нее:

$ cd modules/mq

Открываем файл:

$ vim mq.tf

В данный файл, вставляем:

#---------------------------------------------------
# Create AWS MQ broker
#---------------------------------------------------
resource "aws_mq_broker" "mq_broker" {

    broker_name             = "${lower(var.name)}-mq-broker-${lower(var.environment)}"
    engine_type             = "${var.engine_type}"
    engine_version          = "${var.engine_version}"
    host_instance_type      = "${var.host_instance_type}"
    security_groups         = ["${var.security_group_ids}"]
    subnet_ids              = ["${var.subnet_ids}"]

    apply_immediately           = "${var.apply_immediately}"
    auto_minor_version_upgrade  = "${var.auto_minor_version_upgrade}"
    deployment_mode             = "${var.deployment_mode}"
    publicly_accessible         = "${var.publicly_accessible}"

    maintenance_window_start_time {
        day_of_week = "${var.day_of_week}"
        time_of_day = "${var.time_of_day}"
        time_zone   = "${var.time_zone}"
    }

    configuration {
        id          = "${aws_mq_configuration.mq_configuration.id}"
        revision    = "${aws_mq_configuration.mq_configuration.latest_revision}"
    }

    user {
        username        = "${var.mq_broker_username}"
        password        = "${var.mq_broker_password}"
        groups          = ["${var.mq_broker_groups}"]
        console_access  = "${var.mq_broker_console_access}"
    }

    depends_on = ["aws_mq_configuration.mq_configuration"]
}
#---------------------------------------------------
# Create AWS MQ broker configuration
#---------------------------------------------------
resource "aws_mq_configuration" "mq_configuration" {
    name           = "${lower(var.name)}-mq-broker-configuration-${lower(var.environment)}"
    description    = "The Configuration for ${lower(var.name)}-mq-broker-${lower(var.environment)}"
    engine_type    = "${var.engine_type}"
    engine_version = "${var.engine_version}"
    data           = "${data.template_file.mq_configuration_data.rendered}"

    depends_on  = ["data.template_file.mq_configuration_data"]
}
#---------------------------------------------------
# Create data for AWS MQ broker configuration
#---------------------------------------------------
data "template_file" "mq_configuration_data" {
    template = "${file("${path.module}/data/data.xml.tpl")}"
}

Открываем файл:

$ vim variables.tf

И прописываем:

#-----------------------------------------------------------
# Global or/and default variables
#-----------------------------------------------------------
variable "name" {
  description = "Name to be used on all resources as prefix"
  default     = "TEST-MQ"
}

variable "region" {
  description = "The region where to deploy this code (e.g. us-east-1)."
  default     = "us-east-1"
}

variable "environment" {
    description = "Environment for service"
    default     = "STAGE"
}

variable "orchestration" {
    description = "Type of orchestration"
    default     = "Terraform"
}

variable "createdby" {
    description = "Created by"
    default     = "Vitaliy Natarov"
}

variable "engine_type" {
    description = "The type of broker engine. Currently, Amazon MQ supports only ActiveMQ."
    default     = "ActiveMQ"
}

variable "engine_version" {
    description = "The version of the broker engine. Currently, Amazon MQ supports only 5.15.0"
    default     = "5.15.0"
}

variable "host_instance_type" {
    description = "The broker's instance type. e.g. mq.t2.micro or mq.m4.large"
    default     = "mq.t2.micro"
}

variable "security_group_ids" {
    description = "The list of security group IDs assigned to the broker."
    default     = []
}

variable "subnet_ids" {
    description = "The list of subnet IDs in which to launch the broker. A SINGLE_INSTANCE deployment requires one subnet. An ACTIVE_STANDBY_MULTI_AZ deployment requires two subnets."
    default     = []
}

variable "apply_immediately" {
    description = "Specifies whether any broker modifications are applied immediately, or during the next maintenance window. Default is false."
    default     = "false"
}

variable "auto_minor_version_upgrade" {
    description = "Enables automatic upgrades to new minor versions for brokers, as Apache releases the versions."
    default     = "false"
}

variable "deployment_mode" {
    description = "The deployment mode of the broker. Supported: SINGLE_INSTANCE and ACTIVE_STANDBY_MULTI_AZ. Defaults to SINGLE_INSTANCE."
    default     = "SINGLE_INSTANCE"
}

variable "publicly_accessible" {
    description = "Whether to enable connections from applications outside of the VPC that hosts the broker's subnets."
    default     = "false"
}

variable "mq_broker_username" {
    description = "The username of the user."
    default     = "mq_broker"
}

variable "mq_broker_password" {
    description = "The password of the user. It must be 12 to 250 characters long, at least 4 unique characters, and must not contain commas."
    default     = "mq_broker666"
}

variable "mq_broker_groups" {
    description = "The list of groups (20 maximum) to which the ActiveMQ user belongs."
    type        = "list"
    default     = ["mq_broker"]
}

variable "mq_broker_console_access" {
    description = "Whether to enable access to the the ActiveMQ Web Console for the user."
    default     = "true"
}

variable "day_of_week" {
    description = "The day of the week. e.g. MONDAY, TUESDAY, or WEDNESDAY"
    default     = "MONDAY"
}

variable "time_of_day" {
    description = "The time, in 24-hour format. e.g. 02:00"
    default     = "02:00"
}

variable "time_zone" {
    description = "The time zone, UTC by default, in either the Country/City format, or the UTC offset format. e.g. CET"
    default     = "UTC"
}

Собственно в этом файле храняться все переменные. Спасибо кэп!

Открываем последний файл:

$ vim outputs.tf

И в него вставить нужно следующие строки:

output "mq_broker_ids" {
    description = ""
    value       = "${aws_mq_broker.mq_broker.*.id}"
}

output "mq_broker_arns" {
    description = ""
    value       = "${aws_mq_broker.mq_broker.*.arn}"
}

output "mq_broker_instances" {
    description = ""
    value       = "${aws_mq_broker.mq_broker.*.instances}"
}

output "mq_configuration_ids" {
    description = ""
    value       = "${aws_mq_configuration.mq_configuration.*.id}"
}

output "mq_configuration_arns" {
    description = ""
    value       = "${aws_mq_configuration.mq_configuration.*.arn}"
}

output "mq_configuration_latest_revision" {
    description = ""
    value       = "${aws_mq_configuration.mq_configuration.*.latest_revision}"
}

Переходим теперь в папку aws/examples и создадим еще одну папку для проверки написанного чуда:

$ mkdir mq && cd $_

Внутри созданной папки открываем файл:

$ vim main.tf

И вставим в него следующий код:

#
# MAINTAINER Vitaliy Natarov "vitaliy.natarov@yahoo.com"
#
terraform {
  required_version = "> 0.9.0"
}
provider "aws" {
    region                  = "us-east-1"
    shared_credentials_file = "${pathexpand("~/.aws/credentials")}"
    profile                 = "default"
}
module "vpc" {
    source                              = "../../modules/vpc"
    name                                = "TEST-VPC"
    environment                         = "PROD"
    # VPC
    instance_tenancy                    = "default"
    enable_dns_support                  = "true"
    enable_dns_hostnames                = "true"
    assign_generated_ipv6_cidr_block    = "false"
    enable_classiclink                  = "false"

    vpc_cidr                            = "172.31.0.0/16"
    private_subnet_cidrs                = ["172.31.64.0/20"]
    public_subnet_cidrs                 = ["172.31.80.0/20", "172.31.0.0/20"]
    availability_zones                  = ["us-east-1a", "us-east-1b"]
    allowed_ports                       = ["8080", "3306", "80", "443", "5672"]

    #Internet-GateWay
    enable_internet_gateway             = "true"
    #NAT
    enable_nat_gateway                  = "false"
    single_nat_gateway                  = "true"
    #VPN
    enable_vpn_gateway                  = "false"
    #DHCP
    enable_dhcp_options                 = "false"
    # EIP
    enable_eip                          = "false"
}
module "mq" {
    source                          = "../../modules/mq"
    name                            = "TEST-MQ"
    region                          = "us-east-1"
    environment                     = "PROD"

    security_group_ids     = ["${module.vpc.security_group_id}", "${module.vpc.default_security_group_id}"]
    subnet_ids             = ["${module.vpc.vpc-privatesubnet-ids}"]
}

Еще полезности:

Работа с AWS IAM и Terraform в Unix/Linux

Работа с AWS VPC и Terraform в Unix/Linux

Работа с AWS S3 и Terraform в Unix/Linux

Работа с AWS EC2 и Terraform в Unix/Linux

Работа с AWS ASG(auto scaling group) и Terraform в Unix/Linux

Работа с AWS ELB и Terraform в Unix/Linux

Работа с AWS Route53 и Terraform в Unix/Linux

Работа с AWS RDS и Terraform в Unix/Linux

Работа с AWS SNS и Terraform в Unix/Linux

Работа с AWS SQS и Terraform в Unix/Linux

Работа с AWS KMS и Terraform в Unix/Linux

Работа с AWS NLB и Terraform в Unix/Linux

Работа с AWS CloudWatch и Terraform в Unix/Linux

Работа с AWS ALB и Terraform в Unix/Linux

Все уже написано и готово к использованию. Ну что, начнем тестирование. В папке с вашим плейбуком, выполняем:

$ terraform init

Этим действием я инициализирую проект. Затем, подтягиваю модуль:

$ terraform get

PS: Для обновление изменений в самом модуле, можно выполнять:

$ terraform get -update

Проверим валидацию:

$ terraform validate

Запускем прогон:

$ terraform plan

Мне вывело что все у меня хорошо и можно запускать деплой:

$ terraform apply

Как видно с вывода, — все прошло гладко! Чтобы удалить созданное творение, можно выполнить:

$ terraform destroy

Весь материал аплоаджу в github аккаунт для удобства использования:

$ git clone https://github.com/SebastianUA/terraform.git

Вот и все на этом. Данная статья «Работа с AWS MQ broker и Terraform в Unix/Linux» завершена.