Question 1

CAP и PACELC

Accepted Answer

CAP и PACELC — это теории, помогающие понять компромиссы в распределённых системах, где CAP фокусируется на согласованности, доступности и устойчивости к разделению, а PACELC дополнительно учитывает латентность при отсутствии разделений, позволяя оптимизировать архитектуру в зависимости от требований приложения.

Question 2

Кэширование: CDN/edge и app cache

Accepted Answer

Кэширование улучшает производительность приложений, используя методы CDN для распределения статического контента и app cache для оффлайн-доступа к ресурсам на стороне клиента; каждый из этих подходов имеет свои преимущества и сценарии использования, что позволяет оптимизировать загрузку и снизить нагрузку на сервер.

Question 3

CQRS и Event Sourcing

Accepted Answer

CQRS разделяет операции на команды и запросы для оптимизации производительности и масштабируемости, а Event Sourcing сохраняет события, изменяющие состояние системы, что позволяет восстанавливать историю изменений; их совместное использование обеспечивает гибкость и эффективность архитектуры приложений.

Question 4

Очереди и стримы (Rabbit/Kafka)

Accepted Answer

Очереди сообщений, такие как RabbitMQ, и стримы данных, как Kafka, позволяют организовать асинхронный обмен сообщениями и обработку данных в реальном времени. RabbitMQ лучше подходит для сложной маршрутизации и гарантированной доставки, а Kafka обеспечивает высокую производительность и масштабируемость при работе с большими объемами данных. Выбор инструмента зависит от специфики проекта и его...

Question 5

Идентификаторы и шард-ключи

Accepted Answer

Идентификаторы и шард-ключи важны для эффективного распределения данных в распределённых системах, обеспечивая уникальность объектов и оптимизацию производительности. Правильный выбор этих элементов помогает избежать узких мест и неравномерной нагрузки, что критично для масштабируемости и надежности системы.

Question 6

Репликация и фейловер

Accepted Answer

Репликация — это создание копий данных для повышения доступности, а фейловер — автоматическое переключение на резервные системы при сбоях, что обеспечивает надежность и минимизирует простои.

Question 7

Поиск и индексация (Elasticsearch)

Accepted Answer

Elasticsearch — это распределенная система для хранения и поиска данных в реальном времени, основанная на Apache Lucene, которая позволяет эффективно выполнять полнотекстовый поиск и анализ данных через индексы, документы и шарды, обеспечивая масштабируемость и высокую производительность.

Question 8

Идемпотентность и дедупликация

Accepted Answer

Идемпотентность — это свойство операций, позволяющее многократное выполнение одной и той же операции без изменения результата, тогда как дедупликация предотвращает повторное выполнение одних и тех же запросов, обеспечивая целостность данных и надежность систем.

Question 9

Backpressure и защита апстримов

Accepted Answer

Backpressure — это механизм управления потоком данных, предотвращающий переполнение буферов и обеспечивающий стабильную работу системы, позволяя компонентам сообщать друг другу о своей способности обрабатывать данные. Защита апстримов контролирует источники данных, чтобы избежать сбоев и обеспечить устойчивость системы при перегрузках или ошибках.

Question 10

Бэкапы и DR-план

Accepted Answer

Бэкапы и DR-план обеспечивают надежность системы, позволяя восстанавливать данные и ресурсы после сбоев. Бэкапы представляют собой резервные копии данных, а DR-план описывает шаги для восстановления после катастроф, включая оценку рисков и стратегии восстановления. Это непрерывный процесс, требующий регулярного тестирования и обновления.

Question 11

Монолит vs Микросервисы

Accepted Answer

Монолитная архитектура представляет собой единое приложение с интегрированными компонентами, что упрощает разработку, но затрудняет масштабирование, в то время как микросервисы делят приложение на независимые сервисы, обеспечивая гибкость и масштабируемость, но увеличивая сложность разработки и развертывания.

Question 12

Горизонтальное vs вертикальное масштабирование

Accepted Answer

Горизонтальное масштабирование предполагает добавление новых серверов для распределения нагрузки, что обеспечивает отказоустойчивость и гибкость, тогда как вертикальное масштабирование увеличивает ресурсы одного сервера, что проще в управлении, но имеет ограничения по ресурсам и может стать единой точкой отказа.

Question 13

Балансировка нагрузки (L4 vs L7)

Accepted Answer

Балансировка нагрузки делится на L4 и L7: L4 работает на уровне транспортного протокола, обеспечивая высокую производительность и простоту, тогда как L7 действует на уровне приложения, позволяя гибкую маршрутизацию запросов на основе их содержимого, но с потенциально большей задержкой.

Question 14

Обратные прокси и API-шлюзы

Accepted Answer

Обратные прокси и API-шлюзы управляют сетевым трафиком и обеспечивают безопасность в распределенных системах; обратные прокси фокусируются на маршрутизации и балансировке нагрузки, а API-шлюзы предлагают дополнительные функции, такие как аутентификация и мониторинг, упрощая взаимодействие с множеством микросервисов.

Question 15

Сервис-дискавери

Accepted Answer

Сервис-дискавери позволяет микросервисам находить и взаимодействовать друг с другом, обеспечивая регистрацию, поиск и проверку здоровья сервисов. Главные подходы включают клиентскую и серверную сервис-дискавери, каждая из которых имеет свои плюсы и минусы, а также важные технологии, такие как Consul и Eureka. Правильная реализация сервис-дискавери способствует упрощению взаимодействия и повышению...

Question 16

Консистентный хешинг

Accepted Answer

Консистентный хешинг — это метод распределения данных по узлам в распределённых системах, минимизирующий изменения при добавлении или удалении узлов, что обеспечивает масштабируемость и равномерное распределение нагрузки.

Question 17

SQL vs NoSQL

Accepted Answer

Реляционные базы данных (SQL) обеспечивают строгую структуру и высокую согласованность данных, идеально подходя для приложений с фиксированными схемами и сложными запросами, в то время как нереляционные базы данных (NoSQL) предлагают гибкость и горизонтальное масштабирование, подходя для работы с большими объёмами неструктурированных данных и динамическими структурами.

Question 18

Типы NoSQL хранилищ

Accepted Answer

NoSQL хранилища — это гибкие и масштабируемые альтернативы реляционным базам данных, делящиеся на несколько типов: документо-ориентированные, колонно-ориентированные, графовые и ключ-значение, каждый из которых подходит для специфических задач и объемов данных.

Question 19

ACID vs BASE

Accepted Answer

ACID обеспечивает надежность транзакций в реляционных базах данных с акцентом на целостность и согласованность, тогда как BASE предлагает гибкий подход для распределенных систем, фокусируясь на доступности и масштабируемости с возможной временной несогласованностью данных.

Question 20

Партиционирование данных (шардинг)

Accepted Answer

Партиционирование данных, или шардинг, — это метод распределения данных по нескольким серверам для повышения производительности и масштабируемости систем, особенно в условиях больших объемов данных. Он может быть реализован через горизонтальное или вертикальное партиционирование, и его преимущества включают высокую доступность и скорость обработки запросов, но требует тщательного планирования и...

Question 21

Кворумные чтения/записи

Accepted Answer

Кворумные чтения и записи обеспечивают консистентность данных в распределённых системах, требуя, чтобы операции выполнялись на минимальном количестве узлов для достижения согласия, что помогает сбалансировать консистентность, доступность и устойчивость к разделению.

Question 22

Multi-master репликация

Accepted Answer

Мульти-мастер репликация позволяет нескольким узлам одновременно обрабатывать записи данных, что повышает доступность и масштабируемость систем, но требует эффективных механизмов разрешения конфликтов и синхронизации для поддержания согласованности данных.

Question 23

Разрешение конфликтов репликации

Accepted Answer

Разрешение конфликтов репликации в распределённых системах необходимо для поддержания согласованности данных, возникающей из-за одновременных записей или сетевых сбоев. Основные подходы включают метод "последняя запись побеждает", CRDT и протоколы консенсуса, каждый из которых имеет свои преимущества и недостатки, поэтому выбор метода зависит от специфики приложения и требований к доступности и...

Question 24

Сильная vs eventual согласованность

Accepted Answer

Сильная согласованность обеспечивает мгновенный доступ к последним данным, что важно для критичных приложений, тогда как конечная согласованность допускает временные несоответствия, но обеспечивает высокую доступность и масштабируемость, что лучше подходит для систем с высокой нагрузкой.

Question 25

Paxos vs Raft

Accepted Answer

Paxos и Raft — это алгоритмы консенсуса для распределенных систем, где Paxos сложнее и требует глубокого понимания, а Raft проще и более предсказуем в реализации благодаря явному лидерству, что делает его предпочтительным выбором для большинства разработчиков.

Question 26

Лидер и выбор лидера

Accepted Answer

Выбор лидера в распределённых системах — это процесс определения узла, который будет координировать действия и управлять состоянием системы, что критично для согласованности и предотвращения конфликтов; этот процесс может быть реализован через статические или динамические алгоритмы, такие как выбор по голосованию или алгоритм Булли.

Question 27

Распределённые блокировки

Accepted Answer

Распределённые блокировки — это механизм синхронизации, обеспечивающий эксклюзивный доступ к общим ресурсам в распределённых системах, предотвращая конфликты и обеспечивая целостность данных. Они реализуются с использованием различных технологий, таких как ZooKeeper, Redis и Etcd, и требуют внимания к таймаутам и сети для избежания проблем.

Question 28

Распределённое время и часы

Accepted Answer

Обработка времени в распределённых системах подразумевает хранение временных меток в формате UTC для предотвращения путаницы с часовыми поясами, конвертацию их в локальное время при отображении и учёт переходов на летнее/зимнее время, что критично для корректной работы приложений, использующих временные данные.

Question 29

Когерентность и инвалидация кеша

Accepted Answer

Когерентность и инвалидация кеша обеспечивают согласованность данных между кешем и базами данных, предотвращая использование устаревшей информации; ключевые стратегии включают сильную, конечную и причинную согласованность, а также различные методы инвалидации, такие как по времени или явная инвалидация.

Question 30

Стратегии кеширования: Cache-Aside, Write-Through, Write-Back

Accepted Answer

Существуют три основные стратегии кеширования: Cache-Aside, где приложение управляет кешем и загружает данные по запросу; Write-Through, обеспечивающая согласованность данных за счет одновременной записи в кеш и БД; и Write-Back, которая ускоряет запись, откладывая обновление в БД, что подходит для систем с высокой нагрузкой на записи.

Question 31

Политики вытеснения кеша

Accepted Answer

Политики вытеснения кеша определяют, как система освобождает место в кеше для новых данных, включая методы, такие как LRU, LFU, FIFO и случайное удаление. Выбор подходящей политики важен для оптимизации производительности и эффективного использования ресурсов, учитывая характер загрузки и поведение пользователей.

Question 32

Dead Letter Queue

Accepted Answer

Dead Letter Queue (DLQ) — это компонент асинхронных систем, который обрабатывает сообщения, не подлежащие дальнейшей обработке, обеспечивая устойчивость системы, изоляцию проблем и возможность анализа ошибок, что предотвращает потерю данных.

Question 33

Отложенная (задержанная) обработка

Accepted Answer

Отложенная обработка позволяет эффективно управлять ресурсозатратными задачами в системах, используя очереди сообщений и планировщики для асинхронной обработки. Это улучшает производительность и устойчивость приложений, позволяя избежать перегрузок во время пиковых нагрузок.

Question 34

Гарантии порядка событий

Accepted Answer

Гарантия порядка событий в распределённых системах обеспечивает обработку событий в их исходном порядке, что критично для корректной работы, особенно в финансовых и реальном времени приложениях; это достигается через методы, такие как очереди сообщений и синхронизация на уровне базы данных.

Question 35

Lambda vs Kappa архитектуры

Accepted Answer

Lambda архитектура сочетает потоковую и пакетную обработку данных для гибкости в анализе, в то время как Kappa архитектура фокусируется исключительно на потоковой обработке, упрощая инфраструктуру и поддержку. Выбор между ними зависит от требований проекта: Lambda подходит для задач, требующих обеих типов обработки, а Kappa — для систем, ориентированных на реальное время.

Question 36

MapReduce

Accepted Answer

MapReduce — это модель программирования для обработки больших объемов данных с использованием параллельной и распределенной обработки, состоящая из этапов Map для генерации ключ-значение пар, Shuffle and Sort для их группировки и Reduce для получения конечного результата, что обеспечивает масштабируемость и устойчивость к сбоям.

Question 37

Потоковая обработка данных

Accepted Answer

Потоковая обработка данных позволяет обрабатывать непрерывные потоки информации в реальном времени, что обеспечивает быструю реакцию на события и минимальные задержки, в отличие от пакетной обработки. Основные компоненты включают источники данных, обработчики потоков и системы анализа, что делает её подходящей для приложений, требующих мгновенной обработки, таких как финансовые сервисы и...

Question 38

ETL vs ELT

Accepted Answer

ETL (Extract, Transform, Load) и ELT (Extract, Load, Transform) — это два подхода к обработке данных, где ETL сначала преобразует данные перед загрузкой в хранилище, а ELT загружает их в хранилище для последующей обработки, что делает ELT более эффективным для больших объемов данных и облачных решений, но может усложнять контроль качества данных.

Question 39

Data Lake vs Data Warehouse

Accepted Answer

Data Lake — это хранилище необработанных данных в различных форматах, подходящее для аналитиков и исследований, тогда как Data Warehouse организует структурированные данные для аналитики и отчетности, обеспечивая высокую производительность запросов.

Question 40

OLTP vs OLAP

Accepted Answer

OLTP (Online Transaction Processing) предназначен для обработки транзакций в реальном времени с акцентом на высокую доступность и быструю обработку, тогда как OLAP (Online Analytical Processing) фокусируется на анализе данных и поддержке принятия решений через выполнение сложных запросов и агрегирование больших объемов данных.

Question 41

Денормализация данных

Accepted Answer

Денормализация данных — это процесс упрощения структуры базы данных путем объединения связанных таблиц для повышения производительности и ускорения запросов, что может привести к избыточности данных, но улучшает время отклика, особенно в системах с высокой нагрузкой на чтение.

Question 42

Геораспределенные кластеры

Accepted Answer

Геораспределенные кластеры позволяют распределять ресурсы и данные по различным регионам для повышения доступности, отказоустойчивости и снижения задержек, обеспечивая гибкость масштабирования и эффективное распределение нагрузки.

Question 43

Multi-tenancy (мультиаренда)

Accepted Answer

Мультиаренда — это архитектурный подход, позволяющий одному приложению обслуживать нескольких клиентов с изоляцией их данных и настроек, что эффективно снижает затраты и ресурсоемкость. Выбор модели мультиаренды (совместная база данных или отдельные базы) критически важен для обеспечения безопасности и управляемости.

Question 44

Zero Downtime Deployment

Accepted Answer

Zero Downtime Deployment — это метод обновления программного обеспечения без прерывания работы приложений, что критично для высоконагруженных систем; он включает стратегии, такие как Blue-Green, Canary и Rolling Deployment, и требует тщательной автоматизации, тестирования и мониторинга для обеспечения стабильности.

Question 45

CI/CD pipeline

Accepted Answer

CI/CD pipeline — это автоматизированный процесс, который включает непрерывную интеграцию и развертывание, позволяя командам быстро и надежно поставлять обновления программного обеспечения, обеспечивая качество через автоматические тесты и эффективное развертывание.

Question 46

Наблюдаемость (Observability)

Accepted Answer

Наблюдаемость — это способность системы предоставлять информацию о её внутреннем состоянии, что позволяет выявлять и устранять проблемы, а также оптимизировать производительность, особенно в распределённых системах. Она включает логи, метрики и трейсы, что помогает разработчикам и операционным командам эффективно диагностировать поведение системы.

Question 47

Централизованное логирование

Accepted Answer

Централизованное логирование — это система для сбора, хранения и анализа логов из разных источников в одном месте, что упрощает диагностику проблем и мониторинг, а также повышает безопасность приложений.

Question 48

Пагинация результатов

Accepted Answer

Пагинация результатов — это метод разбивки больших наборов данных на более удобные части для просмотра, что улучшает пользовательский опыт и снижает нагрузку на сервер. Существуют различные подходы, такие как offset-based, keyset-based и cursor-based пагинация, каждый из которых имеет свои преимущества и недостатки в зависимости от требований проекта.

Question 49

Хвостовая задержка (tail latency)

Accepted Answer

Хвостовая задержка — это время, необходимое для завершения наихудших процентов запросов в системе, и она важна для оценки производительности, поскольку среднее время ответа может быть обманчивым; методы её снижения включают кэширование, асинхронные вызовы и горизонтальное масштабирование.

Question 50

Проблема C10K

Accepted Answer

Проблема C10K связана с эффективной обработкой 10,000 одновременных соединений на сервере, требуя использования неблокирующего ввода-вывода и асинхронной архитектуры для достижения высокой производительности и масштабируемости, что позволяет минимизировать затраты на ресурсы и улучшить обработку запросов.

Question 51

Нагрузочное тестирование

Accepted Answer

Нагрузочное тестирование оценивает производительность и устойчивость системы под различными уровнями нагрузки, выявляя узкие места и обеспечивая соответствие требованиям пользователей. Оно включает в себя статическое и динамическое тестирование, а также требует четкого планирования и использования инструментов для мониторинга.

Question 52

Модель акторов (Actor model)

Accepted Answer

Модель акторов — это парадигма параллельного программирования, которая использует акторов как основные единицы вычислений для создания масштабируемых и устойчивых распределённых систем, позволяя актерам асинхронно обмениваться сообщениями и обеспечивая изолированность их состояния, что упрощает разработку и повышает устойчивость системы.

Question 53

Gossip-протоколы

Accepted Answer

Gossip-протоколы — это метод обмена информацией в распределённых системах, основанный на случайном обмене между узлами, что обеспечивает согласованность данных, устойчивость к сбоям и простоту реализации.

Question 54

Bloom Filter

Accepted Answer

Bloom Filter — это вероятностная структура данных, используемая для проверки принадлежности элемента множеству с низким потреблением памяти и быстрой проверкой, но с возможностью ложных положительных результатов.

Question 55

REST vs gRPC

Accepted Answer

REST и gRPC — это два подхода к взаимодействию между сервисами, где REST проще и широко поддерживается, но может быть менее производительным, а gRPC предлагает быструю сериализацию и двустороннюю связь, но требует больше знаний для настройки и работы. Выбор между ними зависит от требований проекта, таких как производительность и сложность взаимодействий.

Question 56

GraphQL vs REST

Accepted Answer

GraphQL и REST — это два подхода к проектированию API: REST использует множество конечных точек и стандартизированные HTTP-методы, что упрощает разработку, но может приводить к избыточности данных, тогда как GraphQL позволяет клиентам запрашивать только необходимые данные через единую конечную точку, обеспечивая гибкость, но требуя более сложной реализации и кэширования.

Question 57

Long Polling vs WebSocket vs SSE

Accepted Answer

Long Polling, WebSocket и Server-Sent Events — это три подхода для обмена данными в реальном времени между клиентом и сервером; Long Polling подходит для простых решений с совместимостью, WebSocket обеспечивает двустороннюю связь с низкой задержкой, а SSE позволяет серверу отправлять обновления клиенту через однонаправленное соединение.

Question 58

Блокчейн

Accepted Answer

Блокчейн — это децентрализованная и защищённая база данных, обеспечивающая прозрачное хранение данных с использованием криптографии и механизмов консенсуса, что делает его идеальным для криптовалют, смарт-контрактов и управления цепочками поставок.

Question 59

Byzantine Fault Tolerance (BFT)

Accepted Answer

Устойчивость к византийским сбоям (BFT) - это концепция в распределенных системах, обеспечивающая корректную работу даже при наличии злонамеренных или ошибающихся узлов, что достигается через алгоритмы консенсуса, такие как PBFT и Tendermint. BFT важна для поддержания целостности данных в критически важных приложениях, однако её реализация может быть сложной и требовать значительных ресурсов.

Question 60

Chaos Engineering

Accepted Answer

Chaos Engineering — это методика, направленная на улучшение надежности систем через контролируемые эксперименты, позволяющие выявить уязвимости и протестировать реакцию системы на сбои, что помогает повысить её устойчивость.

Question 61

Автоматическое масштабирование

Accepted Answer

Автоматическое масштабирование позволяет системам адаптироваться к изменяющимся нагрузкам, обеспечивая надежность и эффективность, путем добавления или удаления ресурсов на основе метрик, таких как использование процессора или памяти.

Question 62

SLA, SLO и error budget

Accepted Answer

SLA определяет ожидаемые уровни сервиса между провайдером и клиентом, SLO устанавливает конкретные измеримые цели для качества сервиса, а error budget показывает, сколько времени сервис может работать ниже SLO без нарушения SLA, что помогает балансировать между стабильностью и внедрением новых функций.

Question 63

In-memory vs on-disk хранение

Accepted Answer

Хранение данных может быть организовано в памяти для быстрого доступа и высокой производительности, но с ограниченным объемом и риском потери данных, или на диске для долговременного хранения больших объемов информации с меньшей скоростью доступа. Выбор подхода зависит от требований приложения к скорости, объему и устойчивости данных.

Question 64

Миграции схем и совместимость

Accepted Answer

Миграции схем — это процесс изменения структуры базы данных для удовлетворения новых требований приложения, а совместимость обеспечивает функционирование системы с различными версиями данных. Важно планировать миграции, использовать версионирование и тестирование, чтобы избежать ошибок и обеспечить плавный переход для пользователей.

System Design: ключевые темы

Senior

Рекомендуемые категории