Курс Python → Параллельные вычисления в Python

Модуль concurrent.futures в Python предоставляет высокоуровневый интерфейс для работы с параллельными задачами. Он позволяет создавать пулы потоков и процессов для выполнения функций асинхронно, что позволяет улучшить производительность при работе с большими объемами данных. В данном примере мы рассмотрим использование ThreadPoolExecutor для параллельного выполнения функции над элементами списка.

Для начала необходимо импортировать модуль concurrent.futures:

import concurrent.futures

Затем мы создаем пул потоков с помощью ThreadPoolExecutor:

with concurrent.futures.ThreadPoolExecutor() as executor:
    results = executor.map(square, numbers)

Здесь функция square будет применена к каждому элементу списка numbers параллельно. Результаты будут возвращены в том же порядке, в котором задачи были отправлены. Метод map позволяет передать каждый элемент из списка в функцию и получить список результатов после завершения выполнения всех задач.

Аналогично, можно использовать ProcessPoolExecutor для выполнения задач в отдельных процессах. Это особенно полезно, когда необходимо выполнить вычисления, которые могут блокировать потоки (например, взаимодействие с вводом-выводом). Пример использования ProcessPoolExecutor:

with concurrent.futures.ProcessPoolExecutor() as executor:
    results = executor.map(square, numbers)

Таким образом, модуль concurrent.futures предоставляет удобный способ реализации параллельных вычислений в Python, что помогает улучшить производительность при работе с большими объемами данных.

Твои коллеги будут рады, поделись в

Автор урока

Дмитрий Комаровский
Дмитрий Комаровский

Автоматизация процессов
в КраснодарБанки.ру

Другие уроки курса "Python"

  1. Распаковка элементов последовательности
  2. Метод get() в Python
  3. Циклы в Python
  4. Работа с геоданными с помощью geopy
  5. Поиск шаблона в начале строки
  6. Обработка ошибок в Python
  7. Функции классификации комплексных чисел
  8. Модуль Operator в Python
  9. Множественное назначение в Python
  10. Инверсия списка/строки в Python
  11. Управление IP-адресами через прокси
  12. Работа со строками в Python
  13. Основы работы с os
  14. Настройка логгера Logzero
  15. Проверка версии Python
  16. Работа с getopt
  17. Метод get() для словарей
  18. Поиск подстроки в строке
  19. Асинхронное программирование с asyncio
  20. Класс-оболочка для словарей
  21. Получение ID процесса
  22. Работа с deque из collections
  23. Стать Python-разработчиком
  24. TON Smart Challenge #2: участие и подготовка
  25. Работа с комплексными числами
  26. Генераторы в Python
  27. Создание словаря в Python
  28. Создание лямбда-функций
  29. Переменная с нижним подчеркиванием
  30. Метод сравнения объектов в Python
  31. Преобразование многоуровневого словаря
  32. Метод сравнения объектов в Python
  33. Модуль math: константы π и e
  34. Многострочные строки в Python
  35. PEP-401: оператор
  36. Автоматизация скриптов на AWS Lightsail.
  37. Генераторы словарей и множеств
  38. Итераторы в Python
  39. Переопределение метода __rshift__
  40. Работа с JSON данными в Python
  41. Лямбда-функции в Python
  42. Форматирование объектов с модулем pprint
  43. Защита данных в Python
  44. Разделение строки на подстроки в Python
  45. Руководство по библиотеке pydantic

Marketello читают маркетологи из крутых компаний