Курс Python → Параллельные вычисления в Python
Модуль concurrent.futures в Python предоставляет высокоуровневый интерфейс для работы с параллельными задачами. Он позволяет создавать пулы потоков и процессов для выполнения функций асинхронно, что позволяет улучшить производительность при работе с большими объемами данных. В данном примере мы рассмотрим использование ThreadPoolExecutor для параллельного выполнения функции над элементами списка.
Для начала необходимо импортировать модуль concurrent.futures:
import concurrent.futures
Затем мы создаем пул потоков с помощью ThreadPoolExecutor:
with concurrent.futures.ThreadPoolExecutor() as executor:results = executor.map(square, numbers)
Здесь функция square будет применена к каждому элементу списка numbers параллельно. Результаты будут возвращены в том же порядке, в котором задачи были отправлены. Метод map позволяет передать каждый элемент из списка в функцию и получить список результатов после завершения выполнения всех задач.
Аналогично, можно использовать ProcessPoolExecutor для выполнения задач в отдельных процессах. Это особенно полезно, когда необходимо выполнить вычисления, которые могут блокировать потоки (например, взаимодействие с вводом-выводом). Пример использования ProcessPoolExecutor:
with concurrent.futures.ProcessPoolExecutor() as executor:results = executor.map(square, numbers)
Таким образом, модуль concurrent.futures предоставляет удобный способ реализации параллельных вычислений в Python, что помогает улучшить производительность при работе с большими объемами данных.
Другие уроки курса "Python"
- Распаковка элементов последовательности
- Метод get() в Python
- Циклы в Python
- Работа с геоданными с помощью geopy
- Поиск шаблона в начале строки
- Обработка ошибок в Python
- Функции классификации комплексных чисел
- Модуль Operator в Python
- Множественное назначение в Python
- Инверсия списка/строки в Python
- Управление IP-адресами через прокси
- Работа со строками в Python
- Основы работы с os
- Настройка логгера Logzero
- Проверка версии Python
- Работа с getopt
- Метод get() для словарей
- Поиск подстроки в строке
- Асинхронное программирование с asyncio
- Класс-оболочка для словарей
- Получение ID процесса
- Работа с deque из collections
- Стать Python-разработчиком
- TON Smart Challenge #2: участие и подготовка
- Работа с комплексными числами
- Генераторы в Python
- Создание словаря в Python
- Создание лямбда-функций
- Переменная с нижним подчеркиванием
- Метод сравнения объектов в Python
- Преобразование многоуровневого словаря
- Метод сравнения объектов в Python
- Модуль math: константы π и e
- Многострочные строки в Python
- PEP-401: оператор
- Автоматизация скриптов на AWS Lightsail.
- Генераторы словарей и множеств
- Итераторы в Python
- Переопределение метода __rshift__
- Работа с JSON данными в Python
- Лямбда-функции в Python
- Форматирование объектов с модулем pprint
- Защита данных в Python
- Разделение строки на подстроки в Python
- Руководство по библиотеке pydantic















