Question 1

CAP и PACELC

Accepted Answer

CAP и PACELC: Ключевые концепции в проектировании систем При проектировании распределённых систем, часто возникают вопросы о том, как управлять компромиссами между доступностью, согласованностью и устойчивостью к разделению. Две важные теории, которые помогают понять эти компромиссы, это теорема CAP и модель PACELC.

Question 2

Кэширование: CDN/edge и app cache

Accepted Answer

Кэширование является важным аспектом проектирования систем, который значительно влияет на производительность и масштабируемость приложений. В данном контексте мы рассмотрим два основных метода кэширования: Content Delivery Network (CDN) и app cache. Оба метода помогают снизить нагрузку на серверы и ускорить доступ пользователей к контенту, но имеют разные подходы и сценарии использования.

Question 3

CQRS и Event Sourcing

Accepted Answer

В современном программировании архитектуры часто требуют более сложного подхода к управлению данными и взаимодействию между компонентами. Одними из популярных паттернов, которые помогают справляться с этой задачей, являются CQRS (Command Query Responsibility Segregation) и Event Sourcing. Давайте подробно разберем каждую из этих концепций, их преимущества и недостатки, а также рассмотрим, как они могут работать вместе.

Question 4

Очереди и стримы (Rabbit/Kafka)

Accepted Answer

При проектировании распределённых систем часто возникает необходимость в организации передачи сообщений между различными компонентами. В этом контексте важно рассмотреть использование очередей сообщений и стримов данных, например, таких как RabbitMQ и Apache Kafka. Оба решения имеют свои особенности, преимущества и недостатки, которые стоит учитывать при выборе подходящего инструмента.

Question 5

Идентификаторы и шард-ключи

Accepted Answer

При проектировании распределённых систем одним из ключевых аспектов является выбор идентификаторов (ID) и шард-ключей (shard keys). Эти элементы играют критическую роль в обеспечении эффективного распределения данных и производительности системы. В этом ответе я подробно разберу, что такое идентификаторы и шард-ключи, их важность, примеры использования, а также распространённые ошибки и практические советы.

Question 6

Репликация и фейловер

Accepted Answer

Асинхронная репликация:

Данные сначала записываются на основной сервер, а затем асинхронно отправляются на реплики.
Преимущества:

Высокая производительность и меньшая задержка.

Недостатки:

Потенциальная потеря данных, если основной сервер выходит из строя до синхронизации.

Пример: Широко используется в веб-приложениях, где потеря некоторых данных не критична.

Question 7

Поиск и индексация (Elasticsearch)

Accepted Answer

Elasticsearch — это распределённая система для хранения, поиска и анализа данных в реальном времени. Она построена на базе Apache Lucene и позволяет эффективно выполнять полнотекстовый поиск, фильтрацию и агрегацию данных. Давайте разберём ключевые аспекты работы с Elasticsearch, его архитектуру, основные компоненты и практические советы по его использованию.

Question 8

Идемпотентность и дедупликация

Accepted Answer

Идемпотентность и дедупликация — это два ключевых концепта, которые играют важную роль в проектировании распределённых систем и API. Они помогают обеспечить целостность данных и надёжность операций в системах, работающих в условиях сетевых сбоев и повторных запросов.

Question 9

Backpressure и защита апстримов

Accepted Answer

1. Введение в концепцию Backpressure Backpressure — это механизм управления потоком данных в системах, работающих с потоками, который помогает предотвратить переполнение буферов и обеспечивает стабильную работу системы. Он позволяет компонентам системы сообщать друг другу о том, что они не могут обрабатывать данные с текущей скоростью, и таким образом, регулировать поток данных.

Question 10

Бэкапы и DR-план

Accepted Answer

При проектировании системы важно учитывать не только ее функциональность, но и надежность и устойчивость к сбоям. Одними из ключевых аспектов в обеспечении надежности являются бэкапы (резервные копии) и план восстановления после сбоев (Disaster Recovery Plan, DR-план). Рассмотрим их более подробно.

Question 11

Монолит vs Микросервисы

Accepted Answer

В современном программировании архитектура систем играет ключевую роль в определении гибкости, масштабируемости и поддерживаемости приложений. Рассмотрим два популярных подхода: монолитная архитектура и микросервисная архитектура. Оба подхода имеют свои преимущества и недостатки, и выбор между ними зависит от конкретных требований проекта.

Question 12

Горизонтальное vs вертикальное масштабирование

Accepted Answer

Масштабирование системы – это ключевой аспект проектирования, который определяет, как система будет обрабатывать увеличивающуюся нагрузку. Основные подходы к масштабированию включают горизонтальное и вертикальное масштабирование, каждый из которых имеет свои преимущества и недостатки.

Question 13

Балансировка нагрузки (L4 vs L7)

Accepted Answer

Балансировка нагрузки — это критически важный аспект архитектуры распределенных систем, который помогает обеспечить высокую доступность и масштабируемость приложений. В данной теме мы рассмотрим два основных типа балансировки нагрузки: на уровне транспортного протокола (L4) и на уровне приложения (L7).

Question 14

Обратные прокси и API-шлюзы

Accepted Answer

Обратные прокси и API-шлюзы являются важными компонентами архитектуры современных распределенных систем. Они играют ключевую роль в управлении сетевым трафиком, обеспечении безопасности и повышении производительности. Давайте разберём каждый из этих компонентов более подробно, выделяя их особенности, примеры использования и сравнение.

Question 15

Сервис-дискавери

Accepted Answer

Сервис-дискавери — это процесс, который позволяет микросервисам находить и взаимодействовать друг с другом в распределенной системе. В этом ответе мы рассмотрим ключевые концепции, подходы и технологии, используемые для реализации сервис-дискавери. Также мы обсудим распространенные ошибки и практические советы.

Question 16

Консистентный хешинг

Accepted Answer

Консистентный хешинг — это метод распределения данных по узлам в распределённых системах, который обеспечивает минимальные изменения в распределении при добавлении или удалении узлов. Этот подход особенно полезен для систем, которые требуют масштабируемости и высокой доступности, таких как распределённые базы данных и кэш-системы.

Question 17

SQL vs NoSQL

Accepted Answer

Когда речь заходит о выборе между реляционными базами данных (SQL) и нереляционными базами данных (NoSQL), важно понимать основные различия, преимущества и недостатки каждой технологии, а также ситуации, в которых их лучше применять.

Question 18

Типы NoSQL хранилищ

Accepted Answer

NoSQL (Not Only SQL) хранилища представляют собой альтернативу традиционным реляционным базам данных, предлагая большую гибкость и масштабируемость. Важно понимать, что NoSQL — это не единое решение, а целый класс технологий, которые можно классифицировать по различным критериям. Рассмотрим основные типы NoSQL хранилищ и их особенности.

Question 19

ACID vs BASE

Accepted Answer

В процессе проектирования систем важно понимать подходы к управлению данными, особенно когда речь идет о характеристиках транзакций и консистентности. В этой связи выделяют два основных подхода: ACID (Atomicity, Consistency, Isolation, Durability) и BASE (Basically Available, Soft state, Eventually consistent). Давайте разберем каждый из них.

Question 20

Партиционирование данных (шардинг)

Accepted Answer

Партиционирование данных, или шардинг, представляет собой стратегию распределения данных по нескольким серверам или узлам для достижения большей производительности, доступности и масштабируемости. Этот подход особенно актуален для систем, обрабатывающих большой объем данных и запросов, таких как веб-приложения, социальные сети и онлайн-магазины.

Question 21

Кворумные чтения/записи

Accepted Answer

Кворумные чтения и записи представляют собой важные концепции в проектировании распределённых систем, особенно в контексте обеспечения консистентности данных и доступности. Эти концепции часто используются в системах, работающих на принципах CAP-теоремы (Consistency, Availability, Partition tolerance – консистентность, доступность, устойчивость к разделению), и могут быть применены для достижения баланса между этими тремя аспектами.

Question 22

Multi-master репликация

Accepted Answer

Мульти-мастер репликация — это архитектурный подход в распределённых системах, который позволяет нескольким узлам (или серверам) одновременно принимать записи и обновления данных. Это отличается от классической мастера-слейва (master-slave) репликации, где только один узел может выполнять операции записи, а остальные только читают и реплицируют данные.

Question 23

Разрешение конфликтов репликации

Accepted Answer

В процессе репликации данных в распределённых системах часто возникают конфликты, которые могут привести к несоответствиям между копиями данных. Эти конфликты могут возникать по разным причинам, например, из-за одновременной записи на нескольких узлах или из-за сбоев в сети. В этом ответе мы рассмотрим основные подходы к разрешению конфликтов репликации, приведём примеры и обсудим распространённые ошибки.

Question 24

Сильная vs eventual согласованность

Accepted Answer

Когда мы говорим о согласованности в распределённых системах, мы часто сталкиваемся с двумя важными концепциями: сильной согласованностью и конечной согласованностью. Эти два подхода к согласованности данных имеют свои плюсы и минусы, и выбор между ними зависит от требований вашего приложения и архитектуры системы.

Question 25

Paxos vs Raft

Accepted Answer

Когда речь заходит о распределенных системах, важно иметь надежные алгоритмы консенсуса, которые позволяют узлам системы согласовывать свои состояния, даже в условиях сбоя. Два наиболее известных алгоритма в этой области — это Paxos и Raft. В этом ответе я подробно разберу различия между ними, их принципы работы, плюсы и минусы, а также дам практические советы и распространенные ошибки.

Question 26

Лидер и выбор лидера

Accepted Answer

В процессе проектирования распределённых систем, выбор лидера (Leader Election) является критически важной задачей. Эта задача заключается в том, чтобы среди группы узлов (нод) выбрать одного, который будет выполнять определённые функции, такие как координация действий, управление состоянием системы или обработка запросов. Давайте подробно разберем этот процесс, его подходы, примеры и распространенные ошибки.

Question 27

Распределённые блокировки

Accepted Answer

Распределённые блокировки (distributed locks) — это механизм синхронизации, который позволяет координировать доступ к общим ресурсам в распределённых системах. Они необходимы для обеспечения целостности данных и предотвращения конфликтов при одновременной работе нескольких узлов (nodes) или сервисов.

Question 28

Распределённое время и часы

Accepted Answer

Вопрос о распределённом времени и часах в контексте системного дизайна часто возникает при разработке приложений, которые должны работать в разных часовых поясах и обеспечивать корректное отображение времени для пользователей по всему миру. Это важно для таких приложений, как календари, системы бронирования, социальные сети и многие другие.

Question 29

Когерентность и инвалидация кеша

Accepted Answer

Когерентность и инвалидация кеша — это важные концепции в проектировании распределённых систем и архитектуре приложений. Эти аспекты касаются обеспечения согласованности данных между различными уровнями кеширования и базами данных, а также управления состоянием кеша для минимизации ошибок и потери данных.

Question 30

Стратегии кеширования: Cache-Aside, Write-Through, Write-Back

Accepted Answer

Вопрос о стратегиях кеширования является ключевым при проектировании систем, которые требуют высокой производительности и масштабируемости. Кеширование позволяет уменьшить нагрузку на базу данных и ускорить доступ к часто запрашиваемым данным. Рассмотрим три основных стратегии кеширования: Cache-Aside, Write-Through и Write-Back. Каждая из них имеет свои особенности, преимущества и недостатки.

Question 31

Политики вытеснения кеша

Accepted Answer

Политики вытеснения кеша — это важный аспект проектирования систем, который определяет, как управлять памятью и ресурсами при необходимости освобождения места в кеше. Когда кеш заполняется, система должна решить, какие данные удалить, чтобы освободить место для новых. Основные политики вытеснения кеша включают:

Question 32

Dead Letter Queue

Accepted Answer

Dead Letter Queue (DLQ) — это важный компонент в асинхронных системах обработки сообщений, который используется для обработки сообщений, не подлежащих дальнейшей обработке. Эти сообщения могут не обрабатываться по различным причинам, таким как ошибки в данных, отсутствие соответствующих обработчиков или превышение лимитов обработки.

Question 33

Отложенная (задержанная) обработка

Accepted Answer

Отложенная (или задержанная) обработка – это важный концепт в проектировании систем, который позволяет эффективно управлять задачами, требующими значительных ресурсов или времени для выполнения. Эта практика особенно полезна в распределенных системах, где необходимо разграничение нагрузки и обеспечение устойчивости.

Question 34

Гарантии порядка событий

Accepted Answer

При проектировании распределённых систем, одной из ключевых задач является обеспечение гарантии порядка событий. Это особенно важно в сценариях, где порядок обработки сообщений влияет на состояние системы и её логику. Рассмотрим основные аспекты, методы и распространённые ошибки, связанные с этой темой.

Question 35

Lambda vs Kappa архитектуры

Accepted Answer

Когда речь идет о проектировании систем обработки данных, архитектуры Lambda и Kappa представляют собой два подхода, каждый из которых имеет свои особенности, преимущества и недостатки. Давайте подробнее рассмотрим каждую архитектуру и сравним их.

Question 36

MapReduce

Accepted Answer

MapReduce — это модель программирования и связанная с ней реализация для обработки и генерации больших наборов данных с параллельной, распределенной алгоритмической обработкой. Она была разработана компанией Google и стала основой для многих систем обработки данных, таких как Apache Hadoop.

Question 37

Потоковая обработка данных

Accepted Answer

Потоковая обработка данных — это подход к обработке и анализу данных в реальном времени, позволяющий обрабатывать непрерывные потоки данных, поступающие от различных источников. Этот метод отличается от пакетной обработки, где данные собираются и обрабатываются порциями (батчами). Важно понимать ключевые концепции и архитектурные решения, которые позволяют эффективно реализовать потоковую обработку.

Question 38

ETL vs ELT

Accepted Answer

В процессе работы с данными существует два основных подхода к их обработке и интеграции: ETL (Extract, Transform, Load) и ELT (Extract, Load, Transform). Оба подхода имеют свои особенности, преимущества и недостатки, которые важно учитывать при выборе подхода для конкретного проекта.

Question 39

Data Lake vs Data Warehouse

Accepted Answer

Когда речь заходит о хранилищах данных, важно понимать различия между Data Lake и Data Warehouse, так как каждое из этих решений имеет свои особенности, преимущества и недостатки. Рассмотрим их более подробно.

Question 40

OLTP vs OLAP

Accepted Answer

В системном проектировании важно понимать различия между OLTP (Online Transaction Processing) и OLAP (Online Analytical Processing) системами, так как каждая из них предназначена для различных типов задач и нагрузки. Давайте рассмотрим ключевые аспекты, которые помогут понять эти две категории систем.

Question 41

Денормализация данных

Accepted Answer

Денормализация данных — это процесс, при котором структура базы данных изменяется для уменьшения количества таблиц и упрощения запросов, что может повысить производительность системы. Основная идея состоит в том, чтобы объединить данные из нескольких связанных таблиц в одну, что может привести к избыточности данных, но в то же время улучшить время отклика на запросы.

Question 42

Геораспределенные кластеры

Accepted Answer

Геораспределенные кластеры представляют собой архитектурный подход, который позволяет распределять вычислительные ресурсы и данные по нескольким географически удаленным регионам. Это обеспечивает высокую доступность, отказоустойчивость и уменьшает задержки для пользователей, находящихся в различных частях мира.

Question 43

Multi-tenancy (мультиаренда)

Accepted Answer

Мультиаренда — это архитектурный подход, который позволяет одному экземпляру приложения обслуживать нескольких клиентов (арендаторов), при этом обеспечивая изоляцию данных и настроек для каждого из них. Этот метод широко используется в облачных сервисах и SaaS (Software as a Service) приложениях, так как он позволяет эффективно использовать ресурсы и снижать затраты на поддержку.

Question 44

Zero Downtime Deployment

Accepted Answer

Непрерывная интеграция и непрерывное развертывание (CI/CD):

CI (Continuous Integration) — это практика, при которой код регулярно интегрируется в общий репозиторий, что позволяет выявлять ошибки на ранних этапах.
CD (Continuous Deployment) — это автоматизация процесса развертывания, что позволяет выпускать обновления с минимальным вмешательством человека.

Question 45

CI/CD pipeline

Accepted Answer

Непрерывная интеграция (CI):

Определение: Процесс, при котором разработчики регулярно интегрируют свои изменения в общий код. Это часто происходит несколько раз в день.
Примеры:

Использование систем контроля версий, таких как Git, для объединения изменений.
Запуск автоматических тестов при каждом коммите, чтобы убедиться, что новые изменения не ломают существующий функционал.

Question 46

Наблюдаемость (Observability)

Accepted Answer

Наблюдаемость — это способность системы предоставлять информацию о её внутреннем состоянии, что позволяет разработчикам и операционным командам понимать и диагностировать её поведение. Наблюдаемость становится особенно важной в распределённых системах, где множество компонентов взаимодействуют друг с другом. Она помогает выявлять и устранять проблемы, а также оптимизировать производительность.

Question 47

Централизованное логирование

Accepted Answer

Централизованное логирование — это подход к сбору, хранению и анализу логов из различных источников в одной месте. Это позволяет упростить управление логами, улучшить мониторинг и ускорить диагностику проблем.

Question 48

Пагинация результатов

Accepted Answer

Пагинация результатов — это техника, используемая для разделения больших наборов данных на более управляемые и удобные для восприятия части, или "страницы". Этот подход позволяет пользователям легче просматривать данные и уменьшает нагрузку на сервер и сеть, поскольку не требуется загружать все данные одновременно.

Question 49

Хвостовая задержка (tail latency)

Accepted Answer

Хвостовая задержка — это важный аспект производительности систем, который касается времени ответа на запросы, особенно в распределенных системах. Она определяется как время, которое требуется для завершения наихудших (или «хвостовых») процентов запросов. В то время как среднее время ответа может быть приемлемым, хвостовая задержка может указывать на проблемы в системе, которые требуют внимания.

Question 50

Проблема C10K

Accepted Answer

Проблема C10K относится к сложности обработки 10,000 одновременных соединений на сервере. Эта проблема актуальна для веб-приложений и сетевых сервисов, где необходимо обеспечивать высокую производительность и масштабируемость. Давайте разберем основные аспекты этой проблемы, включая архитектурные решения и практические советы.

Question 51

Нагрузочное тестирование

Accepted Answer

Нагрузочное тестирование — это важный этап в процессе разработки программного обеспечения, позволяющий оценить, как система ведет себя под различными уровнями нагрузки. Это тестирование помогает выявить пределы производительности, устойчивость и надежность системы, а также обеспечивает ее соответствие требованиям пользователей и бизнес-целям.

Question 52

Модель акторов (Actor model)

Accepted Answer

Модель акторов — это парадигма параллельного программирования, которая помогает разработчикам создавать масштабируемые и устойчивые распределённые системы. Она определяет, как компоненты системы взаимодействуют друг с другом, используя акторов как основные единицы вычислений.

Question 53

Gossip-протоколы

Accepted Answer

Gossip-протоколы представляют собой метод обмена информацией между узлами в распределённых системах. Эти протоколы заимствуют концепцию из человеческой практики, когда информация передаётся от одного человека к другому, и затем каждый из них продолжает делиться этой информацией с другими. В распределённых системах данная техника помогает поддерживать согласованность данных и обнаруживать изменения в состоянии системы.

Question 54

Bloom Filter

Accepted Answer

Bloom Filter (Фильтр Блума) — это вероятностная структура данных, используемая для проверки принадлежности элемента множеству. Главное преимущество Bloom Filter заключается в его способности занимать мало памяти и быстро выполнять операции проверки, но он может возвращать ложные положительные результаты. Это означает, что он может ошибочно утверждать, что элемент присутствует в множестве, даже если это не так. Однако он никогда не возвращает ложные отрицания — если фильтр говорит, что элемента...

Question 55

REST vs gRPC

Accepted Answer

При проектировании систем важно выбрать правильный подход к взаимодействию между сервисами. В этом контексте REST (Representational State Transfer) и gRPC (Google Remote Procedure Call) являются двумя популярными архитектурными стилями, каждый из которых имеет свои сильные и слабые стороны. В этом ответе я разберу ключевые аспекты этих двух подходов, их преимущества и недостатки, а также дам практические советы по выбору между ними.

Question 56

GraphQL vs REST

Accepted Answer

При проектировании систем для работы с API (интерфейсы прикладного программирования) часто возникает выбор между двумя популярными подходами: GraphQL и REST (Representational State Transfer). Каждый из этих подходов имеет свои преимущества и недостатки, которые следует учитывать при выборе подходящего решения для конкретного проекта.

Question 57

Long Polling vs WebSocket vs SSE

Accepted Answer

В процессе разработки современных веб-приложений часто возникает необходимость в реализации механизмов для обмена данными между клиентом и сервером в реальном времени. Три основных подхода для достижения этой цели – это Long Polling (долгое опрос), WebSocket (веб-сокеты) и Server-Sent Events (SSE, события, отправляемые сервером). Каждый из этих методов имеет свои особенности, преимущества и недостатки, которые необходимо учитывать при выборе подходящего решения.

Question 58

Блокчейн

Accepted Answer

Блокчейн — это распределённая база данных или реестр, который обеспечивает безопасное и прозрачное хранение данных. Он состоит из последовательных "блоков", которые связаны друг с другом криптографическими методами, что делает их защищёнными от изменений и подделок.

Question 59

Byzantine Fault Tolerance (BFT)

Accepted Answer

Устойчивость к византийским сбоям - это концепция в распределенных системах, которая обеспечивает корректную работу системы даже в условиях, когда некоторые её компоненты (узлы) могут вести себя неправильно или злонамеренно. Это может включать в себя ситуации, когда узлы отправляют неверные или противоречивые сообщения.

Question 60

Chaos Engineering

Accepted Answer

Chaos Engineering: Понимание и Применение Chaos Engineering – это методология, направленная на улучшение устойчивости и надежности систем путем проведения контролируемых экспериментов. Эта практика позволяет выявить уязвимости в системах, тестируя их под нагрузкой и в условиях, которые могут привести к сбоям.

Question 61

Автоматическое масштабирование

Accepted Answer

Автоматическое масштабирование — это ключевой аспект проектирования систем, который позволяет приложениям адаптироваться к изменяющимся нагрузкам без вмешательства человека. Это особенно важно для высоконагруженных сервисов, так как оно обеспечивает надежность, производительность и экономическую эффективность.

Question 62

SLA, SLO и error budget

Accepted Answer

В разработке программного обеспечения и управлении сервисами важными концепциями являются SLA (Service Level Agreement — соглашение об уровне сервиса), SLO (Service Level Objective — цель уровня сервиса) и error budget (бюджет ошибок). Понимание этих понятий позволяет командам устанавливать ожидания по качеству предоставляемых услуг, а также управлять рисками и ресурсами.

Question 63

In-memory vs on-disk хранение

Accepted Answer

При проектировании систем хранения данных критически важно выбрать правильный подход к хранению. Основные варианты - это в памяти и на диске. Каждый из этих подходов имеет свои преимущества и недостатки, которые необходимо учитывать в зависимости от требований приложения.

Question 64

Миграции схем и совместимость

Accepted Answer

При проектировании систем, особенно тех, которые работают с базами данных, важно учитывать миграции схем (schema migrations) и их совместимость (backward compatibility). Это ключевые аспекты, которые помогают избежать потенциальных проблем при обновлении моделей данных и обеспечивают плавный переход для пользователей.

System Design: ключевые темы

Senior

Рекомендуемые категории