Обновляем платформу SourceCraft и открываем доступ к ней для всех разработчиков

Сегодня Yandex B2B Tech открыла публичный доступ к платформе для разработки SourceCraft и представила её новые возможности. В платформу интегрированы инструменты безопасности, которые обеспечат защищённую разработку программных продуктов. А в ИИ‑помощнике SourceCraft Code Assistant появился чат‑режим, что увеличит скорость и эффективность разработки.

Удобство командной работы повысится за счёт бранч‑ и ревью‑политик, встроенных в интерфейс, а также аутентификации через SSO. Также появляется возможность зеркалирования репозиториев с GitHub и публичный API.

Инструменты безопасности

На платформе стали доступны инструменты безопасной разработки: сканер секретов в коде и анализ зависимостей в кодовой базе.

По данным исследования аналитиков Forrester интеграция инструментов безопасности в разработку на 81% снижает трудозатраты на ИБ‑поддержку всего проекта.

Чат‑режим в SourceCraft Code Assistant

ИИ‑помощником SourceCraft Code Assistant пользуются десятки тысяч разработчиков. Теперь в нём доступен чат‑режим, интегрированный непосредственно в среду разработки. В диалоговом режиме на естественном языке можно задать вопрос ИИ‑ассистенту, сгенерировать код, юнит‑тесты, документацию. Это ускорит поиск необходимой информации и оценку предлагаемых решений. Функциональность доступна в плагинах для VSCode и IDE от JetBrains.

Зеркалирование и бесшовная миграция

Миграция проектов с GitHub становится бесшовной — кроме кода переносятся Issues, PRs, Labels, Milestones, Comments. Также можно выбрать ветки для зеркалирования — непрерывной синхронизации кода.

Также появился федеративный доступ к платформе для компаний — авторизация через SSO.

Публичный API

Благодаря появлению публичного API платформа становится расширяемой. Пользователь сможет взаимодействовать с SourceCraft и обеспечивать автоматизацию и интеграцию с другими приложениями. Первая версия публичного API доступна для управления задачами, список будет пополняться.

Правила работы с ИТ‑проектами

В интерфейсе платформы появились бранч‑ и ревью‑политики — правила работы с ветками и проверками кода, которые интегрируются в систему контроля версий и процессы CI/CD.

Опенсорс

Появился анонимный доступ к публичным репозиториям платформы. Пользователи SourceCraft смогут создавать независимые копии репозиториев (forks) опенсорс‑проектов. Это позволит вносить персональные изменения, не затрагивая напрямую исходную кодовую базу. При этом копия сохраняет связь с оригиналом для получения обновлений.

Удобство работы с кодом

Интерфейс платформы теперь позволяет просматривать структуру файлов для шести языков программирования: Python, C++, Java, Go, TypeScript и JavaScript. Функциональность навигации по коду стала умнее и аналогично теперь поддерживает 6 языков.

Автоматизация CI/CD‑процессов

Среди обновлений, связанных со сборкой и развертыванием кода, появились self‑hosted runners — теперь можно запускать задачи как на виртуальных машинах Yandex Cloud, так и в своём окружении. Также появились flavours — теги для пользовательских задач, за счёт которых можно выбирать, где запускать задачу. Помимо этого в интерфейсе платформы появилась возможность не только разрабатывать, но сразу публиковать мобильные приложения в App Store, Google Play, RuStore, Huawei AppGalery.

Packages

Появилась возможность создавать и использовать собственные программные пакеты популярных форматов: наборы кода, библиотек, модулей или компонентов. Разработчик сможет хранить их в персональном облаке, привязанном к организации SourceCraft, и использовать в своих проектах. Packages также интегрированы с CI/CD платформы.

Вход в SourceCraft реализован через Яндекс ID аккаунт. Зайти на обновлённую платформу можно на сайте SourceCraft.

Верстаем письмо на React, чтобы оно корректно отображалось во всех почтовых клиентах

Чтобы свёрстанные письма хорошо выглядели на десктопе и мобильных, нужно знать, как почтовые клиенты поддерживают возможности CSS и HTML. И на практике это не всегда просто. Например, Gmail отбрасывает атрибут style целиком, если встречает в нём цвет, заданный как rgb. В итоге даже в 2025 году вёрстка писем нередко сводится к написанию таблиц и атрибутов наподобие align, valign, bgcolor и т.д.

Вдобавок, после отправки письмо нельзя поправить, как страницу на сайте, и это тоже добавляет сложности.

Наша команда решила оценить для создания писем библиотеку React Email. Она предоставляет компоненты, которые генерируют HTML и CSS для корректного отображения во всех почтовых клиентах. Письмо можно посмотреть в браузере и отправить на почту. Под капотом всё равно останутся таблицы, но писать их руками не придётся.

На примере отправки через сервис Yandex Postbox покажем, как это работает.

Начало работы. Установим библиотеку @react‑email/components и клиент для работы с почтовым сервисом AWS SESv2 — Postbox поддерживает эту версию клиента.

npm install @aws-sdk/client-sesv2 @react-email/components

Создадим компонент, который будет генерировать письмо:

email.tsx
import * as React from 'react';
import { Button, Html } from '@react-email/components';

export function Email(props) {
   const { url } = props;

   return (
       <Html lang="en">
           <Button href={url}>Click me</Button>
       </Html>
   );
}

Больше компонентов — в документации.

Создание аккаунта в облаке

1. Создадим сервисный аккаунт в том же каталоге, в котором находится адрес. Если создать сервисный аккаунт и адрес в разных каталогах, при попытке отправить письмо возникнет ошибка.

2. Назначим сервисному аккаунту роль postbox.sender.

3. Для отправки письма с помощью SDK создадим статический ключ доступа. Важно надёжно сохранить идентификатор и секретный ключ. После того как вы закроете окно, параметры секретного ключа станут недоступны.

Отправка письма. Ключи доступа можно передать в конструктор SESv2Client явно, как показано ниже, указать их в переменных окружения или использовать конфигурацию AWS CLI.

import { render } from '@react-email/components';
import type { SendEmailCommandInput } from '@aws-sdk/client-sesv2';
import { SendEmailCommand, SESv2Client } from '@aws-sdk/client-sesv2';
import { Email } from './email';
import React from 'react'


const sesClient = new SESv2Client({
   region: 'ru-central1',
   endpoint: 'https://postbox.cloud.yandex.net',
});

const emailHtml = await render(<Email url="https://example.com"/>);
const emailText = await render(<Email url="https://example.com"/>, {
   pretty: true,
   plainText: true,
});

const email: SendEmailCommandInput = {
   Content: {
       Simple: { 
           Body: {
               Html: {
                   Data: emailHtml,
               },
               Text: {
                   Data: emailText,
               },
           },
           Subject: {
               Data: 'Тестовое письмо',
           },
       },
   },
   Destination: {
       ToAddresses: [
           '[email protected]'
       ],
   },
   FromEmailAddress: 'Alice <[email protected]>',
}

const command = new SendEmailCommand(email);

const result = await sesClient.send(command);
console.log(result);

Чтобы удобно запускать скрипт, установим tsx loader:

npm install --save-dev tsx

Теперь запустим скрипт, передав в переменные окружения ключи сервисного аккаунта:

AWS_ACCESS_KEY_ID=... AWS_SECRET_ACCESS_KEY=... node --import @nodejs-loaders/tsx index.tsx

В консоли увидим ответ от Postbox. Если письмо отправлено успешно, то в ответе будет MessageId.

{
 '$metadata': {
   httpStatusCode: 200,
   requestId: undefined,
   extendedRequestId: undefined,
   cfId: undefined,
   attempts: 1,
   totalRetryDelay: 0
 },
 MessageId: 'D8BT2CX3IDK2.2HZQ4CE0E8CRL@ingress1-sas'
}

Если захотите отправить несколько писем в цикле, рекомендуем добавить в код задержку между отправками, чтобы не превысить квоту.

Управляемые сервисы на базе YTsaurus и Apache Spark, новые возможности DataLens и Yandex Cloud AI Studio — о чём говорили на Data&ML2Business

Собрали самые интересные анонсы с Data&ML2Business, ежегодной конференции Yandex Cloud о практическом применении технологий. Вот что прозвучало на главном докладе 28 мая.

Трек Data

Ранний доступ к Yandex Managed Service for YTsaurus. Платформа Яндекса для хранения и обработки больших данных YTsaurus уже два года в опенсорсе, а с этого дня доступ к ней открывается ещё в двух форматах: в облаке и в инфраструктуре заказчика (on‑premise).

Для тестирования работы в этих форматах необходимо подать заявку.

Доступ к сервису Yandex Managed Service for Spark. Новый управляемый сервис на базе опенсорс-решения поможет с загрузкой и обработкой данных, а также задачами машинного обучения в облаке. Протестировать его в режиме Preview можно здесь.

Кроме этого, в публичный доступ вышел сервис управления распределённым аналитическим массивно‑параллельным движком обработки больших данных Trino в облачной инфраструктуре.

Обновления Yandex DataLens. Что появилось в сервисе BI‑аналитики:

• DataLens Gallery — публичная витрина готовых примеров дашбордов. Теперь любой пользователь может открыть галерею, выбрать нужную отрасль или предметную область и изучить готовые дашборды и модели данных, а также стать автором галереи. При согласии автора дашборд из галереи можно развернуть у себя в качестве примера или стартового дашборда.

• DataLens Editor — редактор для кастомизации графиков и таблиц с помощью JavaScript. Пользователи смогут создавать продвинутые визуализации и удобно интегрировать данные из нескольких источников (включая внешние API).

• Собственная программа сертификации Yandex DataLens Certified Analyst. С её помощью специалисты могут официально подтвердить свои навыки работы с DataLens. На экзамене проверяются знания и навыки работы с чартами и датасетами, вычисляемыми полями и параметрами, внешними источниками данных, построения дашбордов и выдачи доступов.

Также на конференции рассказали про OLAP-движок для YDB. Теперь СУБД подходит для самых высоконагруженных сценариев. В последней версии YDB появился неточный векторный поиск, позволяющий использовать YDB для специализированных задач, связанных с ИИ.

Трек ML

Обновления RAG‑пайплайна в AI Assistant API. Доступный на платформе Yandex Cloud AI Studio инструмент для создания умных ассистентов дополнился новым графическим UI — теперь создать виртуального помощника можно не только через API или SDK. Возможности поиска данных по базам знаний также расширились: доступны поддержка новых типов данных (таблицы и pdf‑файлы), дообучение эмбедингов, обогащение чанков метаданными, получение метаданных ответа, а также использование дообученной модели. Также на платформе появился рефразер — отдельная модель, которая может перефразировать запросы пользователя.

Доступ к Yandex Cloud AI Studio on‑premise. AI‑платформа Yandex Cloud внесена в реестр отечественного ПО, что позволяет интегрировать решения как в облаке, так и в своей инфраструктуре.

Эксперты обсудили и уже состоявшиеся запуски: 

• Инструменты работы с OpenAI Compatible API в облаке. API для языковых моделей в Yandex Cloud AI Studio совместим с OpenAI API. Благодаря этому модели YandexGPT проще интегрировать с популярными решениями для работы с ML, например, AutoGPT или LangChain. В совместимом с OpenAI API поддерживаются Function Calling, работа с эмбеддингами и Structured Output.

• Смысловые теги Yandex SpeechSense — инструмент умного тегирования и поиска для анализа диалогов в колл‑центрах, доступный отдельно по клиенту и оператору.

• Доступ к VLM и LLM в режиме Batch Processing и co‑pilot сервис для операторов Yandex Neurosupport — о которых мы рассказывали на Хабре.

На конференции более 20 спикеров представили 15 докладов по направлениям Data и ML. Подключайтесь к трансляции на странице мероприятия или смотрите в записи, чтобы познакомиться с опытом внедрения технологий.

Опубликовали программу infra.conf'25 — конференции про работу с высоконагруженными системами и инфраструктурой

Итоговая программа ежегодной infra.conf'25 объединит доклады про платформенную разработку, применение больших языковых моделей, решения с открытым исходным кодом, обеспечение безопасности, инфраструктуру для машинного обучения и мобильной разработки.

Спикерами infra.conf'25 станут ведущие инженеры и разработчики Яндекса, Купера, MTS Web Services, Positive Technologies, AvitoTech, Sber AI и других компаний. Организаторы мероприятия — команда Yandex Infrastructure, которая создаёт и предоставляет внутреннюю инфраструктуру Яндекса.

Конференцию откроет главный доклад от Андрея Година, руководителя Yandex Infrastructure, и Александра Чубинского, руководителя Yandex Platform Engineering.
Также среди спикеров infra.conf'25:

• Александр Николаичев и Николай Гриценко из Yandex Infrastructure — «Все дороги ведут в Internal Development Platform (IDP)».

• Роза Морозенкова из Купера — «ML‑платформа: зачем она нужна вам, нам и ML‑инженерам».

• Кирилл Сюзев из команды платформы для разработчиков SourceCraft — «Облачный CI/CD — 5-звёздочный отель для особо опасных любимых пользователей».

• Валерий Евдокимов из ecom.tech (ex. Samokat.tech) — «Превозмогая opensource: опыт внедрения OpenTelemetry, Qryn и Coroot для выстраивания системы наблюдаемости».

• Виталий Шишкин из Positive Technologies — «Tetragon: лучшие практики и нюансы разработки Tracing Policy».

• Эдуард Оболенский из Yandex Infrastructure — «Опыт построения инфраструктуры вокруг мобильной разработки».

Также гости мероприятия смогут посетить воркшоп по Surface Mount Device‑пайке — это процесс пайки электронных компонентов поверхностного монтажа к печатным платам.

infra.conf'25 пройдёт 5 июня в Москве в Loft Hall #8. Также доклады можно посмотреть онлайн на сайте конференции. Для участия нужно зарегистрироваться на сайте и получить приглашение.

Открываем доступ к большим языковым и визуально‑генеративным моделям в пакетном режиме

Сегодня Yandex B2B Tech открывает доступ внутри Yandex Cloud AI Studio к LLM и визуально‑генеративным моделям (VLM), таким как DeepSeek VL2 Tiny, Qwen2.5 VL и Gemma3 27B. Режим Batch Processing, или режим пакетного инференса позволяет эффективно обрабатывать тысячи запросов с помощью таких генеративных моделей.

Всего в пакетном режиме доступно около 20 опенсорсных нейросетей, в том числе модели, которые умеют одновременно анализировать изображения и текст. Среди уже доступных моделей — Qwen2.5 и LLaMa 3.3*, рассуждающие нейросети QwQ и DeepSeek R1, полный список можно посмотреть на сайте.

По мере появления новых моделей в опенсорсе они будут оперативно добавляться на ML‑платформе. Так, вскоре будет доступна VLM‑модель Яндекса, которая используется в Алисе, Нейроэксперте, Поиске с Нейро и других сервисах.

Применение новых моделей в режиме Batch Processing позволяет фокусироваться на эффективной обработке большого объёма данных. Компании смогут использовать модели по расписанию, по мере накопления данных или для объёмных разовых задач. Такое использование обойдётся вдвое дешевле, чем в стандартном режиме. Тарификация при пакетном инференсе на больших объёмах данных начинается от 200 тыс. токенов.

Какие сценарии удобно решать в пакетном режиме

1. Анализ и суммаризация больших объёмов данных. Batch Processing помогает эффективно обрабатывать длинные последовательности текста и создавать качественный пересказ или анализ материалов. Это актуально, например, для исследовательских организаций и компаний, работающих с большими объёмами пользовательского контента.

2. Периодическая обработка данных клиентов. Многие компании регулярно анализируют текстовые данные от клиентов: отзывы, комментарии, запросы в службу поддержки и другие формы обратной связи. Пакетный инференс позволяет эффективно обрабатывать эти данные по расписанию, например, еженедельно или ежемесячно.

3. Масштабное индексирование и обогащение контента. Для компаний, работающих с большими библиотеками контента, пакетный инференс даёт возможность эффективного индексирования и обогащения материалов. Языковые модели могут автоматически генерировать метаданные, ключевые слова, теги и другие элементы, улучшающие поиск и организацию контента.

4. Обогащение датасетов для тюнинга моделей. Для команд, которые дообучают лёгкие версии языковых моделей с помощью дистилляции ответов больших версий моделей, Batch Processing помогает создавать синтетические датасеты для дообучения. На базе этих данных и с помощью инструмента LoRA Fine‑tuning разработчики могут создавать лёгкие модели высокого качества, при этом получая более реактивную скорость ответов и меньшую стоимость за обращение к модели.

*Llama создана компанией Meta. Meta признана экстремистской организацией, её деятельность в России запрещена.

Call for papers: принимаем заявки от докладчиков на infra.conf до 5 апреля

Мы готовимся к infra.conf 2025 — летней конференции про создание инфраструктуры и эксплуатацию высоконагруженных систем от команды Yandex Infrastructure. 5 июня обсудим список наиболее интересных хардкорных тем:

• базы данных: шины, брокеры, OLAP, хранение и обработка данных;

• платформы разработки / инфраструктура разработки;

• инфраструктура для мобильной разработки;

• инфраструктура для фронтенда;

• ML‑инфраструктура;

• виртуальные машины, гибридные облака, контейнеры;

• мониторинг, observability;

• ДЦ/ЦОДы, железо, аппаратное обеспечение;

• умные устройства, системная разработка.

В 2025 году событие пройдёт во второй раз — смотрите в нашем плейлисте, как это было прошлым летом.

До 5 апреля вы можете подать заявку на доклад infra.conf 2025 — для этого нужно заполнить форму.
На этапе заявки достаточно черновых тезисов и общего плана выступления.
Программный комитет будет готов обсудить ваши идеи и предложения. Финальное решение по докладам примем до 20 апреля.

По возникшим вопросам вы можете обратиться  к координатору infra.conf Саше Галкиной.

Yandex Cloud проводит BareMetal CyberChamp — необычный турнир по Dota 2. Смотрите финал 29 марта.

В субботу 29 марта состоится финал турнира по Dota 2, в котором сыграют команды из Яндекса и компаний‑клиентов Yandex Cloud. В итоговой кибербитве сойдутся победители закрытых квалификационных игр, среди участников которых: 1С Game Studios, R‑Vision, «Иви», Rutube и другие.

Зрителей ждёт:

• прямой эфир с финала турнира, где команды сразятся за титул чемпиона;

• квиз по Dota 2, в котором можно проверить свои знания и выиграть призы;

• сессия GameDev Stories, где эксперты обсудят, как технологии двигают игровую индустрию.

Для организации стабильной трансляции инженеры Yandex Infrastructure перенесли игровой процесс и трансляцию на выделенные серверы BareMetal.

Александр Власов, руководитель группы продуктовой архитектуры в Yandex Cloud, — о том, почему решили сделать турнир по Dota 2

В Яндексе существует большое киберспортивное сообщество, и ребята часто принимают участие в соревнованиях. Идея родилась из желания провести ламповый игровой турнир среди сотрудников Яндекса. Заодно мы хотели развернуть игру на серверах нового сервиса Yandex BareMetal — и хорошо провести время, и протестировать нагрузку на сервера.

При этом самая популярная игра в нашем сообществе — Dota 2. Однако, установить её на выделенном сервере нельзя. Но это нас не остановило, и идея начала обрастать новыми планами, которые мы реализовали в товарищеском турнире BareMetal CyberChamp:

• давайте проведём стрим на выделенных серверах — done!

• давайте помимо сотрудников пригласим играть и наших клиентов — done!

• давайте расскажем про игровую индустрию в целом — done!

Заодно для сессии GameDev Stories мы собрали темы, которые были бы интересны как пользователям игр, так и разработчикам. Поговорим про роль и применимость ИИ в гейминге, а также затронем тему игровых движков — какие выбирают российские разработчики и что бы они посоветовали тем, кто сам планирует разрабатывать игры.

Капитан одной из команд Яндекса также поделился первыми впечатлениями о турнире:
«Игры довольно непростые, составы соперников явно посильнее, чем в отборочных ЛЧБ, но мы пока справляемся. Команды очень разные, и своих соперников мы видим только когда зайдём в лобби, тяжело подготовится к каждому. Поэтому удивить может любая команда.
Из‑за разного графика работы тренироваться у нас с коллегами получается нечасто: 1–2 раза в неделю собираемся и играем скримы. Но пока этого было достаточно».

Переходите на сайт турнира, чтобы увидеть предварительные итоги квалификационных игр и занять место на финальной трансляции.

Представляем YDB DWH — компонент для аналитической обработки данных в СУБД Яндекса

В YDB появилась новая функциональность: теперь СУБД Яндекса поддерживает работу со сложными аналитическими запросами (OLAP). Благодаря этому компании смогут не только хранить и обрабатывать в YDB сотни терабайт транзакционных данных, но и выполнять над этими данными запросы и создавать системы для поддержки принятия решений — корпоративные хранилища данных.

Система горизонтально масштабируется за счёт шардирования — автоматического партиционирования по объёму и нагрузке, — а также обеспечивает быстрое выполнение запросов благодаря массивно‑параллельной архитектуре (МРР).

Аналитическая функциональность компонента YDB DWH включает колоночные таблицы с консистентным хранением данных и управление смешанной нагрузкой. В платформу СУБД Яндекса также входит движок выполнения запросов со спиллингом данных на диск, стоимостный оптимизатор, федеративные SQL‑запросы к внешним источникам данных (S3, PostgreSQL, Greenplum, Oracle, Microsoft SQL), что позволяет создавать корпоративные хранилища данных. В планах реализация поддержки SQL-диалекта PostgreSQL для интеграции как в OLAP‑, так и в OLTP‑сценарии.

Платформа распространяется по коммерческой лицензии. Её можно и установить в собственной инфраструктуре (on‑premise), и использовать как управляемый сервис в Yandex Cloud.

Открываем пользователям облака доступ к AI Assistant API — инструменту для быстрого создания умных ассистентов

Сегодня мы запустили AI Assistant API — сервис, который помогает быстро создавать умных ассистентов на базе большой языковой модели YandexGPT. В его основе — объединение LLM с технологией поиска по базам знаний RAG, которая позволяет интегрироваться с внешними системами.

AI Assistant API открыт всем пользователям Yandex CLoud в режиме Public Preview и доступен через ML SDK в сервисе Foundation Models.

Как это работает на примере AI‑ассистента для оформления командировок:

• Создание ассистента доступно в удобном интерфейсе, поэтому с сервисом могут работать сотрудники без глубокой экспертизы в Data Science.

• Разработчик умного ассистента может выбрать подходящую версию YandexGPT — Lite или Pro, настроить уже обученные версии модели и адаптировать под свои задачи компоненты сервиса: параметры генерации текста и базы знаний, к примеру, в которой хранятся сведения о внутренних процессах оформления командировок.

• Пользователь AI‑ассистента формулирует запрос, например на оформление командировки в Санкт‑Петербург. Умный помощник анализирует запрос в контексте всей беседы и обращается к нужной базе знаний. На основе анализа диалога и информации из базы ассистент формирует релевантный ответ с инструкциями.

Также при росте нагрузки сервис автоматически масштабируется. Более подробно ознакомиться с возможностями настройки можно в документации AI Assistant API.

Яндекс разработал этические принципы синтеза речи

Соблюдение приватности пользовательских данных — одна из ключевых задач сервис‑провайдеров, которая решается с помощью комплекса мер безопасности.

Но при работе с ML‑технологиями могут быть не всегда очевидные риски, о которых должны знать все участники процесса обработки данных. Например, те, чьи голоса используются для синтеза речи.

Для защиты прав дикторов Яндекс создал принципы работы с синтезом речи. Команды Яндекса соблюдают этот кодекс и рекомендуют его к использованию в индустрии.

Принципы синтеза речи

1. Мы не синтезируем речь людей без их разрешения

2. Мы информируем дикторов о том, как будут использоваться их голоса

3. Мы храним и обрабатываем данные таким образом, чтобы они всегда оставались в безопасности

4. Мы сохраняем за собой право ограничивать сценарии использования нашей технологии синтеза речи

Данные, которые обрабатываются на стороне сервис‑провайдера, например, записи голосов, хранятся в дата‑центрах, отвечающих строгим стандартам в сфере информационной и физической безопасности.

Доступ к данным имеет ограниченное количество сотрудников — только те, кому они непосредственно нужны в работе. Такие сотрудники проходят инструктаж.

Когда пользователи синтезируют речь через API Yandex SpeechKit, сервис‑провайдер не имеет доступа к исходному тексту и результатам синтеза. Если партнёр синтезирует речь с помощью технологии Яндекса на своём сервере, провайдер также не имеет доступа к таким данным.

Полная версия принципов синтеза речи

Опубликовали полную программу nexthop 2024 — ежегодной конференции по сетевым технологиям 

27 ноября ждём в Москве и онлайн-эфире сетевых инженеров и всех, кто интересуется происходящим в мире сетевых технологий. В этом году для участников nexthop мы приготовили: 

• Больше 20 докладов в двух залах и море места для обмена опытом.

• Мастер-классы по работе с Annet — основным инструментом сетевой автоматизации в Яндексе. Берите с собой ноутбуки — будем пачкать руки.

• Афтепати, где можно продолжить общение и атаковать докладчиков вопросами.

Для тех, кому сложно сходу сориентироваться в двух потоках, наш программный комитет составил подборку из пяти докладов, на которые стоит обратить особое внимание:

1. IP-роутинг в сетях дата-центров, построенных в топологии Dragonfly.

2. DNS: история и развитие в инфраструктуре Яндекса.

3. Annet, у нас diff, возможно, unsafe, по коням! Автоматизация конфигурации сети в облаке. 

4. Сеть в кластере K8s-сервисов сетевой инфраструктуры (NOCDEV).

5. Wi-Fi в Яндексе.

И это ещё не всё — кроме того поговорим про балансировку нагрузки, инфраструктуру для сетевой автоматизации, BGP- и BMP-коллекции, CDN, безопасность и многое другое.

Полная программа и регистрация — уже на сайте конференции. Увидимся 27 ноября!

Открываем приём заявок на конкурс для IT‑стартапов от Яндекса, RITA и «Акселератора ФРИИ»

Startup2B — конкурс перспективных разработок для небольших IT‑команд. По результатам отбора 15 стартапов смогут улучшить свой продукт, протестировать технологии в проектах компаний‑организаторов, и в случае успеха — получить новых бизнес‑заказчиков со стороны Яндекса и компаний в составе Retail Innovation Tech Alliance (RITA).

Все участники финала смогут получить гранты до 1 млн рублей на облачные сервисы по программе Yandex Cloud Boost, а также консультацию IT‑архитекторов Яндекса.

В конкурсе участвуют команды от трёх человек. Количество заявок от одной команды не ограничено, участвовать могут как разработчики программ и приложений, так и производители «железа».

Критерии участия:

• Вы — стартап на стадии готового продукта

• Ваш продукт решает практическую задачу одной или нескольких компаний, входящих в жюри

• Ваш продукт можно быстро масштабировать — решение можно применить в проектах, рассчитанных на десятки тысяч пользователей

Жюри — представители Yandex Cloud, Яндекс 360, Яндекс Еды, Яндекс Лавки, Яндекс Go, Яндекс Драйв, Яндекс Доставки, X5 Group, Hoff, Ленты, РОЛЬФ, Magnum и «Акселератора ФРИИ». Эксперты отберут номинантов по трём направлениям: решения для операционной деятельности; технологии для работы розничных точек и складов; разработки для улучшения обслуживания, развития электронной коммерции и маркетинга.

Приём заявок открыт до 11 октября включительно на сайте конкурса.

Как автоматизировать рассылку транзакционных уведомлений

Настройка уведомлений в сервисе — задача, напрямую не связанная с бизнес‑логикой и написанием кода, к которой часто привлекаются разработчики. Для её решения нужно погрузиться в тонкости настройки DNS‑протоколов (DKIM, DMARC, SPF), протоколов TLS и передачи данных.

Разгрузить команду разработки от непрофильных задач помогает Yandex Cloud Notification Service (CNS) — новый сервис для управления SMS и пуш‑нотификациями. С его помощью можно отправлять уведомления пользователям Android и iOS через FCM, HMS и APNs, передав обновление всех протоколов на сторону провайдера. Сервис включает логирование и мониторинг, его HTTP API совместим с Amazon SNS API.

Возможности для автоматизации email-нотификаций представлены в Yandex Postbox — управляемом сервисе для отправки почтовых уведомлений. Их совместное использование c CNS в облачной экосистеме облегчает мультиканальную коммуникацию с клиентом: если пуш-сообщение не прочитано, можно продублировать его на почту, или же оптимизировать расходы на авторизацию. Вместе сервисы также обеспечивают:

• соответствие стандарту почтовых сообщений RFC5322,

• защищённые протоколы пересылки и наличие настроенных DNS‑записей,

• ролевую модель (RBAC) для безопасного доступа к сервисам на основе политик избирательного управления правами,

• интеграцию с другими облачными сервисами Yandex Cloud (событий, BI),

• возможности выгрузки событий и построения своей аналитики, в том числе с визуализацией в DataLens.

Исследование State of DevOps Russia 2024: 44% российских компаний уже используют искусственный интеллект для разработки и тестирования ПО.

Yandex Cloud совместно с «Экспресс 42» и другими партнёрами выпустили первую часть исследования State of DevOps Russia. В этом году в опросе участвовали более 4000 специалистов — от руководителей до тех, кто напрямую связан с разработкой, тестированием и эксплуатацией систем.

По данным исследования, в 2023 году 33% российских компаний увеличили IT‑бюджет. Больше всего бизнес инвестировал в найм IT‑специалистов и обновление программного обеспечения и лицензий. Для оптимизации работы ПО и DevOps‑процессов компании стали чаще применять технологии искусственного интеллекта — об этом рассказали 44% опрошенных.

DevOps‑специалисты используют алгоритмы машинного обучения для автоматизации тестирования кода, выявления аномалий в данных, управления конфигурациями систем и инцидентами. 47% респондентов отметили, что применение таких технологий положительно повлияло на эффективность работы.

Кроме этого, 41% опрошенных отметили повышение прозрачности работы с данными при работе в облаке. 50% респондентов отметили, что облака помогают повышать соответствие требования регулятора в области информационной безопасности.

Исследование State of DevOps Russia 2024 провели «Экспресс 42» при стратегической поддержке Deckhouse совместно с облачной платформой Yandex Cloud и Head Hunter, AvitoTech, Т‑Банк, JUG Ru Group и OTUS.

Во сколько обходится атака на приложение для предприятий, что хуже — дефейс сайта или отказ в обслуживании, — обсудили в новом подкасте «Безопасно говоря».

В заключительном эпизоде четвёртого сезона ведущие подкаста Алексей Миртов и Рами Мулейс поговорили о тонкостях защиты приложений с Антоном Антоничевым, ИТ-директором METRO Россия, и Владимиром Прокопенко, экспертом по технической защите R-ONE. Поделились реальными историями и опытом, который может быть интересен компаниям разного масштаба и уровня зрелости.

Несколько хайлайтов этого эпизода:

• Time to market или безопасность?

• С какого момента понятно, что пора вкладываться в безопасность, и с чего начать?

• Если ты ещё маленький, могут ли тебя атаковать?

• Сервис не поймал атаку. Вам возместят убытки?

• Способен ли ИИ помочь ИБ?

Смотрите выпуск на YouTube или слушайте на подкаст‑платформах Яндекс Музыке, Apple Podcasts, чтобы узнать ответы на эти и другие вопросы.

Приходите отметить 10 лет Kubernetes, обсудить кейсы и тренды DevOps на Kuber Conf 4 июля

В четверг, 4 июля, состоится главная в России конференция по Kubernetes®.
Мы встретимся на Kuber Conf'24 в московском GOELRO SPACE и в онлайне, чтобы обсудить тренды развития российского DevOps, использование контейнерных технологий и безопасность кластеров и данных.

В этом году Kubernetes исполнилось 10 лет — и это повод посмотреть, с чего всё начиналось, каких масштабов достигло сейчас, и поговорить, какие специалисты и технологии будут актуальны в ближайшие годы.

Среди тем:

• инсайты из исследования State of DevOps;

• кейсы хранения чувствительных данных в VCS и защиты против атак supply chain;

• обсуждение текущего состояния инструментов observability;

• опыт защиты Control Plane от перегрузки с помощью APF и применения политик Kyverno для безопасности кластеров и их конфигураций;

• рассказ о том, как и какие гайдлайны Kubernetes можно нарушить, чтобы описывать инфраструктуру в разы быстрее.

Ждём разработчиков, архитекторов, тестировщиков, инженеров по доступности сервисов, DevOps‑ и DevSecOps‑инженеров, и всех, кто работает с Kubernetes и не боится сложных задач.

Посмотреть программу и присоединиться

ML против токсичности, чат‑бот «пИИрожок» — и ещё более 10 кейсов внедрения технологий машинного обучения на конференции ML2Business.

29 мая в 14:00 приглашаем на ML2Business — первую конференцию от Yandex Cloud, посвящённую кейсам применения GenAI, NLP, CV и других технологий ML.

Мы поговорим о сложностях внедрения моделей машинного обучения и способах интеграции ML в процессы компаний, а также об оценке реальной пользы для бизнеса. Будет интересно и полезно как ИТ‑руководителям, так и ML‑экспертам — присоединяйтесь к нам в пространстве LOFT#2 в Москве или подключайтесь онлайн.

В программе

• как YandexGPT меняет привычные процессы работы колл‑центра;

• зачем внедрять нейросети для категоризации запросов в техподдержку;

• как улучшить качество сервиса для знакомств благодаря модерации контента с помощью ML‑технологий;

• что умеют современные виртуальные рекрутёры с функцией RPA;

• как чат‑боты помогают покупателям подбирать товары на основании их предпочтений;

• как улучшить поиск информации по внутренней «википедии» с помощью ассистента на базе YandexGPT API и Yandex DataSphere;

  и ещё несколько практических примеров от компаний из разных отраслей.

Участники также могут поучаствовать в нетворкинге и тестировании ML‑сервисов в реальных бизнес‑сценариях на интерактивных площадках.

Участие бесплатное, количество мест ограничено. Регистрация открыта на сайте конференции.

infra.conf 4 июня: обсудим с разработчиками кейсы создания и эксплуатации высоконагруженных систем

Команда Yandex Infrastructure 4 июня проведёт конференцию про создание инфраструктуры и эксплуатацию высоконагруженных систем. Встретимся в Москве и в онлайн‑эфире, чтобы поговорить про платформенную разработку, базы данных и облачные технологии, тестирование и безопасность, ML‑инфраструктуру и опенсорс‑решения.

Только практика от крупных компаний: Авито, Иннотех, Альфа‑Банк, Selectel, СберМаркет и SberDevices, Postgres Pro, Лаборатория Касперского и др.

Среди уже объявленных спикеров:

• Борис Литвиненко, Yandex Infrastructure: расскажет о том, как удобно жить на железе в 2К24 базовой инфраструктуре, о пути сетевого пакета и о специфике обслуживания этой части инфраструктуры. В финале вместе сделаем своё облако с DPDK и попытками преодолеть проблемы монолитной инфраструктуры.

• Дарья Николаенко, Тинькофф: в докладе «Потребитель и железка. Где связь?» расскажет про неочевидные и хитросплетённые зависимости масштабной инфраструктуры и их влияние на выполнение и постановку рабочих задач, а также поделится опытом визуализации и систематизации инфраструктурных компонентов.

• Виктор Корейша, Ozon Tech: расскажет о проектировании собственной S3 поверх Ceph, а также о проблемах, возникших при разработке, миграции и эксплуатации на реальной нагрузке. И, конечно, покажет пути решения и поделится результатами.

Участие бесплатно, следите за обновлениями программы и регистрируйтесь по ссылке.

На Хабре не хватало тёмной темы. Мы помогли это исправить.

Быстрее перейти на тёмную сторону поможет технический квест от Хабра и Yandex Cloud:

Чтобы пройти наш челлендж, нужно помочь компании с загадочным названием Lux ex tenebris решить проблемы с логином, которые возникли при последнем обновлении в прод. В конце квеста вас ждёт не только тёмная тема, но и розыгрыш мерча.

Приходите решать задачи и открывать тёмную тему Хабра → https://dark.habr.io/

А здесь уже можно прочитать пост Хабра о том, как создавалась эта тема.

Мы запустили программу сертификации по облачным технологиям с учётом российских и международных стандартов — и с применением ИИ для прокторинга.

Сертификат Yandex Cloud Certified Engineer Associate подтверждает знания и навыки в шести областях: базовые облачные технологии, хранение и обработка данных, DevOps и автоматизация, бессерверные вычисления, информационная безопасность и биллинг.

Программа тестирования разрабатывалась инженерами, методологами и психометриками и прошла процедуру проверки валидности заданий. Всего в онлайн‑тесте 65 вопросов, ответы на которые проверяются автоматически. Для получения сертификата необходимо правильно ответить на 70% вопросов и более.

Для экзамена предусмотрен прокторинг с применением искусственного интеллекта. Сервис ведёт видео‑ и аудиозапись экзамена, автоматически отслеживает соблюдение правил тестирования, и фиксирует попытки списать. Затем профессиональные наблюдатели изучают записи и дают заключение, не было ли нарушений при тестировании конкретного специалиста.

Первый экзамен пройдёт 11 апреля, запись на тестирование доступна по ссылке. Стоимость прохождения сертификации составляет 7000 рублей. Для первых 250 участников предусмотрена скидка 50%, она действует до 1 июня 2024 года. Подробные рекомендации по подготовке и участию в экзамене также можно изучить на странице программы сертификации.