Курс Python → Работа с набором данных CIFAR10 в PyTorch

Для работы с наборами данных в PyTorch используются модули Dataset и DataLoader. Модуль Dataset представляет собой абстракцию, которая предоставляет доступ к данным, а модуль DataLoader используется для загрузки данных в модели PyTorch. В данном случае мы рассмотрим использование набора данных CIFAR10, который содержит изображения различных классов.

Для начала работы с набором данных CIFAR10 необходимо его загрузить. PyTorch уже содержит встроенные функции для загрузки популярных наборов данных, включая CIFAR10. После загрузки данных их необходимо предварительно обработать, например, провести нормализацию или преобразование изображений в тензоры. Для этого можно использовать функцию torchvision.transforms.


import torch
import torchvision
import torchvision.transforms as transforms

# Загрузка набора данных CIFAR10
train_dataset = torchvision.datasets.CIFAR10(root='./data', train=True, download=True, transform=transforms.ToTensor())
test_dataset = torchvision.datasets.CIFAR10(root='./data', train=False, download=True, transform=transforms.ToTensor())

После предварительной обработки данных необходимо создать DataLoader, который будет загружать данные в модель батчами. DataLoader позволяет эффективно работать с большими объемами данных и автоматически разбивает данные на батчи, управляет перемешиванием и подгрузкой данных в память.


# Создание DataLoader
train_loader = torch.utils.data.DataLoader(train_dataset, batch_size=64, shuffle=True)
test_loader = torch.utils.data.DataLoader(test_dataset, batch_size=64, shuffle=False)

Теперь у вас есть готовые DataLoader для обучения и тестирования модели на наборе данных CIFAR10. Вы можете использовать их для итерации по данным в цикле обучения, передавая батчи данных в модель и вычисляя потери. Это позволит вам эффективно использовать набор данных и обучать модели глубокого обучения в PyTorch.

Твои коллеги будут рады, поделись в

Автор урока

Дмитрий Комаровский
Дмитрий Комаровский

Автоматизация процессов
в КраснодарБанки.ру

Другие уроки курса "Python"

  1. Основные функции и модули Python
  2. Метод rrshift для пользовательских объектов
  3. Профилирование данных с Pandas.
  4. Установка и использование TensorFlow
  5. Форматирование строк с помощью f-строк
  6. Модуль pprint: улучшение вывода данных
  7. Замена подстроки
  8. Настройка вывода в Numpy
  9. Загрузка постов Instagram
  10. Генератор надежных паролей
  11. Оператор in в Python
  12. Распаковка с оператором *
  13. Оператор == в Python
  14. Сортировка и обратный порядок
  15. Подчеркивание в REPL
  16. Основы Python за 14 дней
  17. Ускорение выполнения кода в Python
  18. Замена символов в Python
  19. Копирование объектов в Python
  20. Упрощенный вывод данных в Python
  21. Использование функции enumerate()
  22. Метод ipow для возведения в степень
  23. Генераторные функции в Python
  24. Просмотр внешнего файла в Python
  25. Генераторные функции в Python
  26. Модуль xkcd: загрузка комиксов
  27. Оператор «моржа» (Walrus Operator)
  28. Очистка списка от False, None, 0, «»
  29. Генерация UUID в Python
  30. Оператор assert в Python
  31. Создание класса очереди
  32. Изменение элемента списка
  33. Counter() — подсчет элементов
  34. Декодирование строк в Python
  35. Работа с многоуровневыми словарями в Python
  36. Сравнение def и lambda функций в Python
  37. Переопределение метода delitem в Python
  38. TypedDict для kwargs в Python 3.12
  39. Возвращение нескольких значений через кортеж или класс
  40. Оператор «or» в Python
  41. Проблемы с dict в Python
  42. Удаление элементов из списка в Python
  43. Ветвление выражения в Python
  44. Функция reversed() в Python
  45. Списковое включение в Python
  46. Прокачанный трейсинг ошибок

Marketello читают маркетологи из крутых компаний