Курс Python → Удаление дубликатов в pandas

Для удаления дублирующихся данных в Python можно воспользоваться методом drop_duplicates() из библиотеки pandas. Этот метод позволяет удалить строки с дублирующимися значениями в указанных столбцах. Например, если у вас есть DataFrame df и вы хотите удалить дубликаты в столбце ‘name’, то код будет выглядеть следующим образом:


df.drop_duplicates(subset=['name'], keep='first', inplace=True)

В данном примере мы указали столбец ‘name’ как ключ для поиска дубликатов. Аргумент keep=’first’ означает, что будет оставлен первый встреченный дубликат, а остальные будут удалены. Если вы хотите сохранить последний дубликат, замените ‘first’ на ‘last’.

Если вы хотите удалить дубликаты по всем столбцам, то просто укажите аргумент subset=None:


df.drop_duplicates(subset=None, keep='first', inplace=True)

После выполнения этой операции DataFrame будет содержать только уникальные строки. Удаление дубликатов помогает упростить анализ данных и избежать искажений в результатах. Помните, что перед удалением дубликатов всегда стоит проанализировать данные и убедиться, что удаление не повредит целостности информации.

Твои коллеги будут рады, поделись в

Автор урока

Дмитрий Комаровский
Дмитрий Комаровский

Автоматизация процессов
в КраснодарБанки.ру

Другие уроки курса "Python"

  1. Оформление текста в консоли с TermColor
  2. Оформление кода по PEP 8
  3. Запуск внешних программ с subprocess
  4. Передача словаря через **kwargs
  5. Создание виртуальной среды
  6. Объединение словарей в Python 3.5+
  7. Удаление знаков препинания в Python
  8. Инициализация объекта
  9. Python 3.12: Псевдонимы типов
  10. Деление в Python
  11. Метод rlshift для битового сдвига
  12. Создание и удаление объектов
  13. Работа с географическими данными.
  14. Работа с кортежами в Python
  15. Работа со строками в Python
  16. Форматирование вывода с F-строками
  17. Замена элементов в списке с помощью генераторов списков
  18. Генерация UUID в Python
  19. Область видимости переменных
  20. Модуль math: основные функции
  21. Логирование с Loguru
  22. Оператор assert в Python
  23. Присоединение элементов коллекции
  24. Обмен данными с asyncio.Queue
  25. Beautiful Soup — извлечение данных из HTML
  26. Python Метод sleep() из time
  27. Измерение времени выполнения в Python
  28. Метод remove() для удаления элемента из списка
  29. Python 3.12: переиспользование кавычек
  30. Измерение времени выполнения кода
  31. Улучшенные подсказки для импорта в Python 3.12
  32. Выбор редактора кода.
  33. Progress с библиотекой tqdm
  34. Пропуск начальных строк с помощью dropwhile()
  35. Работа со строками
  36. Создание Telegram-бота на Python
  37. Работа с набором данных CIFAR10 в PyTorch
  38. Манипуляция формой массива в Numpy
  39. Использование обратной косой черты в f-строках
  40. Переопределение унарных операторов
  41. Создание коллекций из выражения-генератора
  42. Нахождение максимального значения и его индекса в списке

Marketello читают маркетологи из крутых компаний