7 марта 2022 — Выпуск #103
Выпуск #103.
Добро пожаловать в выпуск #103 новостей и обновлений AWS с открытым исходным кодом. Среди новых открытых проектов этой недели: botocove (декоратор, помогающий легко запускать функции на всех аккаунтах AWS), functionless (плагин для TypeScript, преобразующий код TypeScript в интеграции между сервисами), replibyte (инструмент для репликации данных PostgreSQL), aws-security-bulletin-alert (уведомляет вас о новых бюллетенях безопасности AWS и рассылает уведомления по электронной почте через Amazon SES) и многие другие. На этой неделе мы собрали статьи и блоги AWS и Сообщества, которые включают широкий спектр тем, в том числе Apache Spark, Apache Kakfa, OpenZFS, PostgreSQL, Kubeflow, Apache Airflow, ROS, Kubernetes, Grafana, Prometheus, Karpenter, Apache Flink, Apache Hudi, Babelfish для Aurora PostgreSQL, AutoGluon и многое другое. На этой неделе мы публикуем новый технический документ «Patterns for Ingesting SaaS Data into AWS Data Lakes», так что не пропустите его. В завершение этого выпуска мы предлагаем несколько замечательных видеороликов о движке Open 3D, XEN и Terraform, а также список событий, связанных с открытым исходным кодом, которые вам стоит посетить.
Как всегда, если вы работаете над чем-то интересным, что вы хотели бы включить в этот еженедельный выпуск, пожалуйста, напишите мне по адресу ricsue@amazon.com.
Празднование вклада разработчиков открытого исходного кода
Статьи, опубликованные в этой серии, возможны только благодаря участникам и сопровождающим проектов, поэтому я хотел бы поблагодарить тех людей, которые действительно стоят у истоков открытого кода и дают нам возможность строить на основе того, что они создали.
Поэтому спасибо следующим героям открытого кода: Дэйв Коннелл, Сэм Гудвин, Маттиа Берлускони, Паола Лоруссо, Хосе Альфредо де Кастро Нунес, Критивасан Баласубраманьян, Румешкришнан Мохан, Насир Ахмед, Игорь Алексеев, Рамеш Матикумар, Габриэль Сото, Вара Бонтху, Раджа Ганесан, Олдред Халим, Райан Шевчик, Нил Эштон, Али Алеми, Дженна Педерсон, Дж. Коул Моррисон, Иван Куи, Джонас Мюллер и Вэньмин Йе.
Обязательно найдите этих разработчиков и следите за их проектами с открытым исходным кодом и вкладом.
Последние проекты с открытым исходным кодом
Сообщество
botocove
botocove — этот проект Дэйва Коннелла предоставляет простой декоратор для функций, позволяющий запускать их на всех учетных записях AWS в организации. Вы можете запускать функцию на выбор аккаунтов AWS, организационных единиц (OUs) или всех аккаунтов AWS в организации, одновременно с безопасностью потоков. Запуск в одном или нескольких регионах.
functionless
functionless — это новый проект от Сэма Гудвина — плагин для TypeScript, который преобразует код TypeScript в интеграции между сервисами (также известные как «бесфункциональные»), такие как AWS AppSync Resolvers и Velocity Templates, или (скоро появится) Amazon States Language для AWS Step Functions. Чтобы узнать больше и найти множество примеров, погрузитесь в это репозиторий.
replibyte
replibyte находится в состоянии альфа-версии, это новый инструмент с открытым исходным кодом от милых ребят из Qovery представляет собой отдельное приложение для репликации ваших облачных баз данных из одного места в другое. В репозитории приведены некоторые сведения о мотивах создания инструмента, а также пример того, как можно использовать его для синхронизации баз данных PostgreSQL на AWS. Стоит посмотреть.
Инструменты
eks-anywhere-packages
eks-anywhere-packages Курируемые пакеты EKS Anywhere — это основа для управления установкой, конфигурацией и обслуживанием компонентов, которые обеспечивают общие операционные возможности для приложений Kubernetes.
api-gateway-dynamic-publish
api-gateway-dynamic-publish — это хороший ресурс с открытым исходным кодом, который использует AWS CDK и использует определение OpenAPI для определения, документирования и создания развертывания Amazon API Gateway. Во время развертывания CloudFormation Custom Resource используется для динамической подстановки ARNs функций интеграции Lambda в файл определения OpenAPI, а также для публикации обновленного файла в ведро S3 для просмотра документации. Это обязательный проект для ознакомления на этой неделе.
aws-security-bulletin-alert
aws-security-bulletin-alert
Если вы ищете способ проактивно получать уведомления о новых бюллетенях безопасности, то этот проект будет вам интересен. Этот проект CDK развертывает функцию AWS Lambda Function, которая запланирована на каждый полный час. Она проверяет сайт https://aws.amazon.com/security/security-bulletins на наличие новых бюллетеней безопасности AWS и отправляет уведомления по электронной почте через Amazon SES.
Демонстрации и образцы
aws-proton-tutorial
aws-proton-tutorial Proton — это полностью управляемый сервис AWS, который помогает командам разработчиков инженерных платформ создавать порталы для разработчиков, чтобы оптимизировать SDLC (жизненный цикл разработки программного обеспечения). Proton преследует две основные цели: повышение производительности и гибкости разработчиков, позволяя при этом организациям поддерживать необходимый уровень контроля и управления. Этот семинар/учебник от Массимо Ре Ферре предназначен для любознательных людей, желающих узнать больше.
eks-multi-environment-cdk-pipeline
eks-multi-environment-cdk-pipeline Этот проект показывает, как AWS CDK можно использовать для инициализации и управления кластером EKS, развернутым в нескольких средах. В этом проекте используется конструкция cdk-pipelines для создания конвейера между различными кластерами Amazon EKS, развернутыми в нескольких средах. Этот проект следует руководству по лучшей практике EKS и развертывает соответствующие дополнения, такие как Cluster-Autoscaler, AWS Load Balancer Controller и SSM Agent. Он также развертывает Weave Flux V2 для доставки GitOps. Причина, по которой дополнения Cluster развертываются с помощью CDK, а не с помощью Flux, заключается в том, что эти дополнения требуют конфигурации как на AWS, так и на EKS/K8s (роли и политики IAM на AWS и развертывание дополнений на K8s). Все остальные развертывания приложений будут развернуты с помощью Weave Flux V2.
serverless-java-frameworks-samples
serverless-java-frameworks-samples это репо предоставляет простое бессерверное приложение, построенное на Java с использованием популярных фреймворков, Micronaut, Quarkus и Spring Boot
mediatailor-vod-upload
mediatailor-vod-upload это пример проекта и демонстрационный рабочий процесс, автоматизирующий добавление источников видео по запросу (VOD) в AWS MediaTailor Channel Assembly. Чтобы узнать о AWS MediaTailor Channel Assembly, в этом семинаре рассматривается определение источников, создание канала и программ вместе с тестовым содержимым источника.
Сообщения в блогах AWS и сообщества
Apache Kafka, Apache Flink и Apache Hudi
Али Алеми — специалист по потоковым технологиям (Streaming Specialist Solutions Architect) в AWS, делится некоторыми своими знаниями в этом посте,
Создание конвейера с низкой задержкой между источником и озером данных с помощью Amazon MSK Connect, Apache Flink и Apache Hudi. Этот пост поможет вам понять различные способы работы с потоковыми данными с минимальным кодированием, а также продемонстрирует, как построить полностью масштабируемые конвейеры с использованием языка SQL без предварительного знания Flink или Hudi. [hands on]
Apache Airflow
Продолжая поиски новых знаний об Apache Airflow, я наткнулся на этот пост Orchestrating Databricks Workloads on AWS With Managed Workflows for Apache Airflow от милых Насира Ахмеда и Игоря Алексеева из Databricks. В статье рассказывается о том, как использовать API заданий Databricks с Amazon Managed Apache Airflow (MWAA), об интеграции с AWS Cloudwatch для мониторинга Directed Acyclic Graphs (DAG) с заданиями на базе Databricks. [практическое занятие].
Karpenter
Karpenter — это динамическое, высокопроизводительное решение для автоматического масштабирования кластеров на платформе Kubernetes, представленное на re:Invent 2021. В заметке Использование точечных инстансов Amazon EC2 с Karpenter Раджа Ганесан и Олдред Халим рассматривают, как использовать Karpenter с точечными инстансами EC2 и обрабатывать прерывания работы точечных инстансов. [hands on]
Kubeflow
Надеюсь, вам понравится эта заметка «Создание многопользовательской среды Kubeflow на Amazon EKS с использованием Amazon Cognito и ADFS» от Jose Alfredo de Castro Nunes, Krithivasan Balasubramaniyan и Rumeshkrishnan Mohan, которую я с удовольствием протестировал. Этот подробный обзор поможет вам понять ключевые компоненты развертывания Kubeflow на Amazon Elastic Kubernetes Service (Amazon EKS) и как добиться многопользовательской изоляции с помощью Amazon Cognito и ADFS. После установки и запуска вы сможете войти в систему через федеративную идентификацию и получить доступ к своему собственному окружению Kubeflow. [практическое занятие]
Наблюдаемость
Рамеш Матикумар, Габриэль Сото и Вара Бонту совместно написали этот пост «Мониторинг Amazon EMR на EKS с помощью Amazon Managed Prometheus и Amazon Managed Grafana», в котором вы построите (с помощью Terraform) сквозное решение наблюдаемости для рабочих нагрузок EMR на EKS Spark, используя Amazon Managed Service for Prometheus для сбора и хранения метрик, генерируемых приложениями Spark. Затем вы будете использовать Amazon Managed Grafana для создания приборных панелей для мониторинга. Предоставляется исходный код. [практическое занятие]
PostgreSQL
Клиентам индустрии финансовых услуг (FSI) и других отраслей с высоким уровнем регулирования часто требуется аудит каждого действия, совершенного каждым пользователем и администратором базы данных, а также идентификация каждого человека, вошедшего в базу данных, обычно с помощью поставщика идентификационных данных (IdP). Маттиа Берлускони и Паола Лоруссо написали статью Auditing for highly regulated industries using Amazon Aurora PostgreSQL, чтобы поделиться проактивным решением общей проблемы безопасности для высокорегулируемых отраслей и описать, как внедрить лучшие практики безопасности для аудита и мониторинга действий пользователей с данными, хранящимися в Amazon Aurora PostgreSQL-Compatible Edition. [hands on]
OpenFOAM
OpenFOAM — это широко используемый набор программных инструментов для вычислительной гидродинамики (CFD) с открытым исходным кодом. В статье «Получение наилучшей производительности OpenFOAM на AWS» Нил Эштон помогает вам изучить шесть практических вещей, которые вы можете сделать как пользователь OpenFOAM для более быстрого и экономически эффективного выполнения моделирования на AWS.
AutoGluon
AutoGluon — это библиотека с открытым исходным кодом для AutoML для текстовых, графических и табличных данных, позволяющая создавать высокоточные модели из необработанных данных с помощью всего одной строки кода. В статье «Построение механизма прогнозирования временных рядов с холодным стартом с помощью AutoGluon» Иван Куи, Йонас Мюллер и Венминг Йе рассказывают о том, как построить механизм прогнозирования с холодным стартом. Прогнозирование «холодного старта» — это построение прогнозов для временного ряда, который имеет мало или вообще не имеет существующих исторических данных, например, новый продукт, только что вышедший на рынок в розничной торговле. [практическое занятие].
Другие посты, на которые стоит обратить внимание
- Подготовка контейнеров приложений и симуляторов ROS для AWS RoboMaker показывает, как использовать контейнеры для создания и упаковки приложений Robot Operating System (ROS) для запуска в AWS RoboMaker
- Три момента, которые необходимо учитывать при внедрении Mutual TLS с AWS App Mesh поможет вам понять, какие вопросы следует задать перед внедрением взаимного TLS с AWS App Mesh для контейнерных рабочих нагрузок
- Migrate On-Premises Multi-Tenant Systems to Amazon Elastic Kubernetes Service исследует, как вы можете использовать Amazon EKS для многопользовательских систем, использующих контейнеры, чтобы упростить их эксплуатацию, оптимизировать затраты, улучшить сегментацию, безопасность и повысить доступность/масштабируемость
- Новый вариант развертывания Amazon RDS for MySQL & PostgreSQL Multi-AZ: Улучшенная производительность записи и ускоренное обход отказа рассматривает новую опцию развертывания Amazon RDS Multi-AZ с увеличенной в 2 раза задержкой фиксации транзакций, которая позволяет автоматизировать обход отказа обычно до 35 секунд.
- Автоматизация экспорта журналов PostgreSQL в Amazon S3 с помощью расширений содержит примеры использования расширений PostgreSQL и автоматизации экспорта журналов PostgreSQL непосредственно в Amazon S3.
- Переход с Amazon RDS for Oracle на Aurora PostgreSQL или Amazon RDS for PostgreSQL с помощью этого руководства по самообслуживанию должен быть в вашем списке для чтения, если вы хотите перейти на PostgreSQL
- Миграция с SQL Server на Aurora PostgreSQL с помощью SSIS и Babelfish рассказывает о том, как перенести большую базу данных SQL Server на Aurora PostgreSQL с помощью SSIS и Babelfish
- Как Panasonic Avionics использовала Amazon Aurora MySQL для модернизации своей среды — хороший пример и технический обзор того, как этот клиент смог улучшить масштабируемость и отказоустойчивость своих приложений.
Белые книги
Patterns for Ingesting SaaS Data into AWS Data Lakes — это новый технический документ, в котором описываются различные модели использования сервисов Amazon Web Services (AWS) для ввода данных SaaS в озеро данных на AWS. В документе рассматривается ряд различных моделей, включая использование Apache Spark, Apache Kakfa и Amazon Athena Federated Queries.
Быстрые обновления
MySQL
Драйвер AWS JDBC Driver for MySQL — это проект с открытым исходным кодом, который использует лицензию General Public License v2 и теперь общедоступен для использования с кластерами баз данных Amazon RDS или Amazon Aurora MySQL-совместимой редакции. Этот драйвер базы данных минимизирует время обхода отказа за счет мониторинга состояния кластера баз данных и кэширования топологии кластера. Затем кэш используется для повышения скорости разрешения имен DNS в случае отказа узла, сокращая время восстановления после отказа с минут до секунд. Драйвер MySQL JDBC основан на MySQL Connector/J и поддерживает развертывание MySQL. Он совместим с драйвером MySQL сообщества и устанавливается с помощью Maven, Gradle или с помощью файла .jar. После установки необходимого файла вашему клиенту потребуется внести простые изменения в строку подключения, чтобы использовать новый драйвер.
Вы можете углубиться в статью блога «Повышение доступности приложений с помощью AWS JDBC Driver для Amazon Aurora MySQL», где Райан Шевчик демонстрирует, как использовать AWS JDBC Driver для MySQL, и как ваше приложение может воспользоваться возможностями кластеризованных баз данных MySQL.
PostgreSQL
После объявления сообществом разработчиков обновлений базы данных PostgreSQL, AWS обновила Amazon Aurora PostgreSQL-Compatible Edition для поддержки PostgreSQL версий 13.5, 12.9, 11.14 и 10.19 в коммерческих регионах и AWS GovCloud (США). Эти релизы содержат исправления ошибок и улучшения, внесенные сообществом разработчиков PostgreSQL.
Apache Cassandra
Amazon Keyspaces (для Apache Cassandra) — это полностью управляемая служба баз данных, совместимая с Apache Cassandra, которая теперь помогает автоматизировать управление ресурсами с помощью AWS SDK. Amazon Keyspaces помогает вам легче запускать рабочие нагрузки Apache Cassandra в масштабе благодаря использованию полностью управляемой и бессерверной службы баз данных. Amazon Keyspaces работает с существующими драйверами Cassandra и кодом API Cassandra Query Language (CQL). Кроме того, Amazon Keyspaces интегрирован с AWS CloudFormation, что позволяет автоматизировать предоставление и управление ресурсами Amazon Keyspaces, такими как пространства ключей и таблицы. Вы также можете использовать CloudFormation для управления параметрами шифрования и восстановления по точке во времени (PITR). Теперь вы также можете создавать и управлять ресурсами Amazon Keyspaces с помощью AWS SDK. Поддержка AWS SDK также позволяет использовать сторонние инструменты автоматизации, которые зависят от AWS SDK, для управления ресурсами AWS.
Apache Kafka
Теперь вы можете использовать AWS CloudFormation для управления конфигурациями кластера Amazon Managed Streaming for Apache Kafka (MSK) и секретами SASL/SCRAM.
OpenZFS
С введением сжатия данных LZ4 вы теперь можете выбирать из двух вариантов сжатия на Amazon FSx для файловых систем OpenZFS. LZ4 — это еще один популярный вариант сжатия с оптимизацией производительности (в дополнение к Z-Standard), который поможет вам оптимизировать эффективность и производительность хранения данных в зависимости от потребностей ваших индивидуальных рабочих нагрузок.
Amazon FSx for OpenZFS — это полностью управляемое, экономически эффективное, общее файловое хранилище на базе популярной файловой системы OpenZFS. Она предлагает мощные возможности повышения эффективности хранения, такие как сжатие данных, что позволяет сократить потребление данных как в файловой системе, так и в резервных копиях файловой системы. До сегодняшнего дня FSx для файловых систем OpenZFS поддерживал только сжатие Z-Standard, которое оптимизировано для достижения наивысшего уровня эффективности хранения и хорошо подходит для широкого набора рабочих нагрузок общего назначения. Теперь вы также можете выбрать сжатие данных LZ4, которое оптимизировано для обеспечения более высокого уровня пропускной способности при записи для ваших рабочих нагрузок, требующих высокой производительности при записи.
Начиная с сегодняшнего дня, вы можете включить сжатие данных и выбрать LZ4 в качестве алгоритма сжатия с помощью AWS Console, AWS CLI или FSx API.
Видео недели
Terraform
Посмотрите второе видео из серии «Обучение в прямом эфире с AWS & HashiCorp» с участием нашей Дженны Педерсон и Джей Коула Моррисона из HashiCorp. В этом эпизоде они создадут свой первый микросервис. Я очень рекомендую эту серию, вы узнаете больше, чем просто как использовать Terraform для создания инфраструктуры AWS — на этой неделе я узнал о «ClickOps»!
O3DE
Open 3D Engine (O3DE) — это модульный кросс-платформенный 3D движок с открытым исходным кодом, созданный для работы с любыми приложениями — от AAA игр до 3D миров кинематографического качества и высокоточных симуляций. Присоединяйтесь к Амару Мехта, который представит обзор O3DE и расскажет о том, почему этот проект важен для наших разработчиков, клиентов и партнеров.
Amazon EC2: Поддержка системы Nitro для экземпляров предыдущего поколения
Главный инженер по гипервизорам Пол Дюррант погрузится в систему Nitro, рассмотрит ее дизайн и архитектуру, изучит новые инновации платформы и продемонстрирует, как ее внедрение сделало, казалось бы, невозможное возможным и как мы позволяем рабочим нагрузкам, зависящим от интерфейсов Xen, работать на системе Nitro.
События для вашего ежедневника
Если у вас есть событие, которое вы хотите опубликовать здесь, пожалуйста, свяжитесь со мной, и я включу его в это объявление.
Ubuntu Pro с поддержкой FIPS на AWS
8 марта, 17:00 GMT
На этом вебинаре рассматривается Ubuntu Pro с FIPS и дополнительными элементами управления безопасностью для обеспечения на более высоком уровне для агентств или миссий, чтобы помочь вам выполнить требования безопасности и соответствия. Сессия также будет включать демонстрацию, которая покажет, как легко начать обеспечивать безопасность операционной системы Ubuntu в облаке AWS.
Ознакомьтесь с полной информацией и зарегистрируйтесь здесь.
Объединение конвейеров данных и ML с помощью Delta Lake и Amazon SageMaker
8 марта, 9 утра по тихоокеанскому времени
Присоединяйтесь к этому живому семинару, чтобы узнать о лучших практиках использования мощных технологий с открытым исходным кодом для упрощения и масштабирования ваших усилий по обработке данных и ML. Мы обсудим, как использовать Apache Spark™ — фактический механизм обработки данных и аналитики для подготовки данных, который объединяет данные в огромных масштабах из различных источников — и Delta Lake, чтобы сделать ваше озеро данных готовым к ML.
Узнайте больше и зарегистрируйтесь здесь.
Создание озера открытых данных с помощью Presto, Hudi и AWS S3
29 марта, 10 утра по тихоокеанскому времени
В этой 90-минутной виртуальной лаборатории вы узнаете, как построить стек Open Data Lakehouse с помощью Presto, Apache Hudi и AWS S3.
Если вы хотите узнать больше об этих проектах с открытым исходным кодом, то это идеальная возможность. Загляните и зарегистрируйтесь на странице регистрации.
OpenSearch
Каждый вторник, 15:00 GMT
Эта регулярная встреча для всех, кто интересуется OpenSearch и Open Distro. Приветствуются все уровни подготовки, а также выступления на такие темы, как: поиск, логирование, аналитика логов и визуализация данных.
Регистрация на следующую сессию, Встреча сообщества OpenSearch — 2022 февраля
GitOpsCon Europe
17 мая, Валенсия, Испания
GitOpsCon Europe призван способствовать сотрудничеству, обсуждению и обмену знаниями по GitOps. Это мероприятие предназначено для аудитории, которая только начинает изучать GitOps, а также для тех, кто уже использует GitOps в своей организации. Общайтесь с теми, кто неравнодушен к GitOps. Узнайте от специалистов-практиков о подводных камнях, которых следует избегать, препятствиях, которые необходимо преодолеть, и о том, как внедрить GitOps в вашей облачной среде.
Мероприятие не имеет отношения к поставщикам и организовано рабочей группой CNCF GitOps. Темы включают начало работы с GitOps, масштабирование и управление GitOps, уроки, извлеченные из производственных развертываний, технические сессии и лидерство мысли.
Подробнее об этом читайте на официальной странице здесь.
CFP
Apache Airflow
CFP закрывается 14 марта
Предупреждение для тех, кто интересуется всем, что связано с Apache Airflow. Apache Airflow Summit 2022 был объявлен, и сейчас открыт прием заявок на доклады (cfp). Планка для докладов всегда очень высока, поэтому мы с нетерпением ждем этого события.
Если у вас есть идея для доклада, почему бы не подать ее через процесс cfp. Посмотрите на мероприятие, Apache Airflow Summit 2022.
Если вы хотели выступить с докладом, я буду рад помочь вам с обратной связью или коучингом, чтобы помочь вам чувствовать себя более комфортно при создании и/или проведении сессии. Если это то, о чем вы думали, но вам просто нужна небольшая поддержка, пожалуйста, свяжитесь со мной.
Оставайтесь на связи с открытым исходным кодом в AWS
Я надеюсь, что это краткое изложение было полезным. Не забудьте заглянуть на домашнюю страницу Open Source, чтобы быть в курсе всей нашей деятельности в области открытого исходного кода, следите за нами на @AWSOpen