Курс Python → Работа с набором данных CIFAR10 в PyTorch

Для работы с наборами данных в PyTorch используются модули Dataset и DataLoader. Модуль Dataset представляет собой абстракцию, которая предоставляет доступ к данным, а модуль DataLoader используется для загрузки данных в модели PyTorch. В данном случае мы рассмотрим использование набора данных CIFAR10, который содержит изображения различных классов.

Для начала работы с набором данных CIFAR10 необходимо его загрузить. PyTorch уже содержит встроенные функции для загрузки популярных наборов данных, включая CIFAR10. После загрузки данных их необходимо предварительно обработать, например, провести нормализацию или преобразование изображений в тензоры. Для этого можно использовать функцию torchvision.transforms.


import torch
import torchvision
import torchvision.transforms as transforms

# Загрузка набора данных CIFAR10
train_dataset = torchvision.datasets.CIFAR10(root='./data', train=True, download=True, transform=transforms.ToTensor())
test_dataset = torchvision.datasets.CIFAR10(root='./data', train=False, download=True, transform=transforms.ToTensor())

После предварительной обработки данных необходимо создать DataLoader, который будет загружать данные в модель батчами. DataLoader позволяет эффективно работать с большими объемами данных и автоматически разбивает данные на батчи, управляет перемешиванием и подгрузкой данных в память.


# Создание DataLoader
train_loader = torch.utils.data.DataLoader(train_dataset, batch_size=64, shuffle=True)
test_loader = torch.utils.data.DataLoader(test_dataset, batch_size=64, shuffle=False)

Теперь у вас есть готовые DataLoader для обучения и тестирования модели на наборе данных CIFAR10. Вы можете использовать их для итерации по данным в цикле обучения, передавая батчи данных в модель и вычисляя потери. Это позволит вам эффективно использовать набор данных и обучать модели глубокого обучения в PyTorch.

Твои коллеги будут рады, поделись в

Автор урока

Дмитрий Комаровский
Дмитрий Комаровский

Автоматизация процессов
в КраснодарБанки.ру

Другие уроки курса "Python"

  1. Вложенные циклы в Python
  2. Работа с комплексными числами
  3. Извлечение аудио из видео
  4. Удаление дубликатов с помощью множеств
  5. Декораторы в Python
  6. Поиск всех индексов подстроки
  7. Библиотека Rich: форматирование текста
  8. Счетчик ссылок в Python
  9. Объединение списков с использованием itertools.chain
  10. Создание генераторов
  11. Numpy: разбиение массивов
  12. Поиск самого длинного слова в списке с использованием max()
  13. Работа с областями видимости переменных
  14. Сравнение строк в Python
  15. Метод __int__ в Python
  16. Импортирование в Python
  17. Аннотации типов в Python
  18. Множественное наследование в Python
  19. Метод __complex__ в Python
  20. Переменные класса и экземпляра
  21. Функция zip() — объединение последовательностей
  22. Классы данных в Python
  23. Преобразование кортежа в словарь.
  24. Функция sleep() в Python
  25. Ускорение кода с помощью векторизации
  26. Работа с путями в Python
  27. Явный импорт переменных
  28. Логические значения в Python
  29. Цепные операции в Python
  30. Оператор @ для умножения матриц
  31. Карта бомбоубежищ в Москве и Питере
  32. Асинхронный код в Python
  33. Создание пар из последовательностей
  34. Работа с Colorama
  35. Проверка кортежей.
  36. Подсчет вхождений элементов
  37. Сравнение строк в Python
  38. Создание детектора плагиата
  39. Оператор zip в Python
  40. Взаимодействие с внешними процессами в Python
  41. Генераторы в Python
  42. Функция enumerate() в Python
  43. JMESPath в Python
  44. Работа со стеком в Python
  45. Получение пути к текущему скрипту с помощью os
  46. Множественное присваивание в Python
  47. Основные операции с Numpy
  48. Обмен данными с asyncio.Queue

Marketello читают маркетологи из крутых компаний