Курс Python → Параллельные вычисления в Python

Модуль concurrent.futures в Python предоставляет высокоуровневый интерфейс для работы с параллельными задачами. Он позволяет создавать пулы потоков и процессов для выполнения функций асинхронно, что позволяет улучшить производительность при работе с большими объемами данных. В данном примере мы рассмотрим использование ThreadPoolExecutor для параллельного выполнения функции над элементами списка.

Для начала необходимо импортировать модуль concurrent.futures:

import concurrent.futures

Затем мы создаем пул потоков с помощью ThreadPoolExecutor:

with concurrent.futures.ThreadPoolExecutor() as executor:
    results = executor.map(square, numbers)

Здесь функция square будет применена к каждому элементу списка numbers параллельно. Результаты будут возвращены в том же порядке, в котором задачи были отправлены. Метод map позволяет передать каждый элемент из списка в функцию и получить список результатов после завершения выполнения всех задач.

Аналогично, можно использовать ProcessPoolExecutor для выполнения задач в отдельных процессах. Это особенно полезно, когда необходимо выполнить вычисления, которые могут блокировать потоки (например, взаимодействие с вводом-выводом). Пример использования ProcessPoolExecutor:

with concurrent.futures.ProcessPoolExecutor() as executor:
    results = executor.map(square, numbers)

Таким образом, модуль concurrent.futures предоставляет удобный способ реализации параллельных вычислений в Python, что помогает улучшить производительность при работе с большими объемами данных.

Твои коллеги будут рады, поделись в

Автор урока

Дмитрий Комаровский
Дмитрий Комаровский

Автоматизация процессов
в КраснодарБанки.ру

Другие уроки курса "Python"

  1. Работа с OpenCV
  2. Цепные операции в Python
  3. %pinfo: получение информации об объекте
  4. List Comprehension Tutorial
  5. Метод invert для побитового отрицания
  6. Управление пакетами с pip
  7. Импорт модулей и пакетов в Python
  8. Комментарии в Python
  9. Хешируемые ключи в Python
  10. kwargs в Python
  11. Вывод переменной и строки в Python
  12. Сравнение строк в Python
  13. Преобразование range в итератор
  14. Оптимизация памяти с slots
  15. Обработка ошибок в Python
  16. Декоратор защиты анонимных пользователей
  17. Списки в Python: основы
  18. Распаковка аргументов в Python
  19. Сортировка HTML-элементов
  20. Подсказки типов в Python
  21. Генераторы в Python
  22. Выборка чисел
  23. Оптимизация памяти с помощью __slots__
  24. Профилирование с Pandas
  25. Конкатенация строк в Python
  26. Множественные конструкторы в Python
  27. Отправка HTTP-запросов с User-Agent
  28. Создание вкладок с TKinter
  29. Модуль pprint
  30. Вычисление фазы комплексного числа
  31. Карта бомбоубежищ в Москве и Питере
  32. Генерация QR-кодов с библиотекой qrcode
  33. Поиск самого частого элемента
  34. Лимиты на ресурсы Python
  35. Названия столбцов в Python таблицах
  36. Python 3.12: Псевдонимы типов
  37. Создание матрицы в Python
  38. Импорт модуля из другого каталога
  39. Роль запятой в Python
  40. Метод __index__ в Python
  41. Модуль xkcd: добавление юмора в Python
  42. Создание виртуальной среды
  43. Удаление элемента по индексу в Python
  44. Установка библиотек в Python
  45. Делегирование в Python
  46. Форматирование строк в Python

Marketello читают маркетологи из крутых компаний