Краткий экскурс в экономику облаков

Чтобы понять, как эффективно использовать облачные сервисы через собственную облачную архитектуру, вам нужно знать, как облака зарабатывают деньги. Это чрезвычайно сложная концепция, и поставщики облачных услуг не предлагают большой прозрачности в этом вопросе. Рассматривайте это отступление как отправную точку для ваших исследований, открытий и изучения процессов.

Облачные сервисы и кредитные дефолтные свопы
Давайте немного поговорим о кредитных дефолтных свопах (credit default swaps). Не волнуйтесь, немного позже вы всё поймёте. Вспомните, что кредитные дефолтные свопы приобрели дурную славу после мирового финансового кризиса 2007 года. Кредитный дефолтный своп был механизмом продажи различных уровней риска, привязанных к активу (например, ипотеке). Мы не намерены описывать это явление детально, скорее предложить аналогию, в которой многие облачные сервисы похожи на финансовые деривативы; поставщики облачных услуг не только разделяют аппаратные активы на мелкие части посредством виртуализации, но и продают эти части с различными техническими характеристиками и сопутствующими рисками. Хотя поставщики крайне скрытны в отношении деталей своих внутренних систем, существуют огромные возможности для оптимизации и масштабирования путем понимания ценообразования в облаке и обмена информацией с другими пользователями.

Взгляните на пример архивного облачного хранилища. На момент написания этой статьи GCP открыто признает, что ее архивное хранилище работает на тех же кластерах, что и стандартное облачное хранилище, однако цена за гигабайт в месяц для архивного хранилища составляет примерно 1/17 цены стандартного хранилища. Как это возможно?

Вот наше обоснованное предположение. При покупке облачного хранилища каждый диск в кластере хранения имеет три актива, которые используют поставщики и потребители облачных услуг. Во-первых, он имеет определённую ёмкость хранилища — скажем, 10 ТБ. Во-вторых, он поддерживает определённое количество операций ввода-вывода (IOP) в секунду — скажем, 100. В-третьих, диски поддерживают определённую максимальную пропускную способность, максимальную скорость чтения для оптимально организованных файлов. Магнитный диск может иметь возможность чтения со скоростью 200 МБ/с.

Любое из этих ограничений (IOP, ёмкость хранилища, пропускная способность) является потенциальным узким местом для облачного провайдера. Например, у облачного провайдера может быть диск, хранящий 3 ТБ данных, но достигающий максимального IOP. Альтернативой тому, чтобы оставить оставшиеся 7 ТБ пустыми, является продажа пустого пространства без продажи IOP. Или, более конкретно, продажа дешёвого дискового пространства и дорогих IOP, чтобы препятствовать чтению.
Подобно трейдерам финансовых деривативов, поставщики облачных услуг также имеют дело с риском. В случае архивного хранения поставщики продают своего рода страховку, но такую, которая выплачивается страховщику, а не покупателю полиса в случае катастрофы. Хотя ежемесячные расходы на хранение данных чрезвычайно низки, я рискую заплатить высокую цену, если мне когда-нибудь понадобится извлечь данные. Но это цена, которую я с радостью заплачу в действительно чрезвычайной ситуации.
Аналогичные соображения применимы практически к любому облачному сервису. Хотя локальные серверы по сути продаются как обычное оборудование, модель затрат в облаке более тонкая. Вместо того чтобы просто взимать плату за ядра ЦП, память и функции, поставщики облачных услуг монетизируют такие характеристики, как долговечность, надёжность, долговечность и предсказуемость; различные вычислительные платформы делают скидки на свои предложения для рабочих нагрузок, которые являются эфемерными или могут быть произвольно прерваны, когда мощность требуется в другом месте.

Облако ≠ локально
Этот заголовок может показаться глупой тавтологией, но убеждение, что облачные сервисы — это то же самое, что и привычные локальные серверы, является распространенной когнитивной ошибкой, которая мешает облачным миграциям и приводит к ужасающим счетам. Здесь демонстрируется более широкая проблема в технологиях, которую мы называем проклятием привычности. Многие новые технологические продукты намеренно разрабатываются так, чтобы выглядеть как что-то знакомое, чтобы облегчить использование и ускорить принятие. Но любой новый технологический продукт имеет тонкости и недостатки, которые пользователи должны научиться определять, учитывать и оптимизировать.

Перемещение локальных серверов по одному на виртуальные машины в облаке — известное как простое перемещение — является вполне разумной стратегией для начальной фазы миграции в облако, особенно когда компания сталкивается с каким-то финансовым разрывом, например, необходимостью подписать значительный новый договор аренды или контракт на оборудование, если существующее оборудование продолжит использоваться. Однако компании, которые оставят свои облачные активы в этом исходном состоянии, будут шокированы. При прямом сравнении долго работающие серверы в облаке значительно дороже своих локальных аналогов.
Ключом к получению выгоды от облака является понимание и оптимизация модели ценообразования в облаке. Вместо того чтобы развёртывать набор долго работающих серверов, способных справиться с полной пиковой нагрузкой, используйте автоматическое масштабирование, чтобы позволить рабочим нагрузкам масштабироваться до минимальной инфраструктуры, когда нагрузки легкие, и до массивных кластеров в часы пик. Чтобы реализовать скидки за счёт более эфемерных, менее долговечных рабочих нагрузок, используйте зарезервированные или точечные экземпляры или используйте бессерверные функции вместо серверов.

Мы часто думаем, что эта оптимизация ведёт к снижению затрат, но мы также должны стремиться к увеличению ценности для бизнеса, используя динамическую природу облака. Инженеры данных могут создавать новую ценность в облаке, выполняя то, что было невозможно в их локальной среде. Например, можно быстро развернуть массивные вычислительные кластеры для выполнения сложных преобразований в масштабах, которые были бы невозможны с локальным оборудованием.

Гравитация данных
Помимо основных ошибок, таких как следование локальным методам эксплуатации в облаке, инженерам данных необходимо следить за другими аспектами ценообразования в облаке, которые часто застают пользователей врасплох.

Продавцы хотят привязать вас к своим предложениям. Загрузка данных на платформу дешева или бесплатна на большинстве облачных платформ, но выгрузка данных может быть чрезвычайно дорогой. Узнайте о сборах за выгрузку данных и их долгосрочном влиянии на ваш бизнес, прежде чем вас ошеломит большой счёт. Гравитация данных реальна: стоимость извлечения и миграции процессов для данных, попавших в облако, может стать очень высокой.