Как Найти и и Удалить Дубликаты в Excel Быстро.
Если вы пользователь Microsoft Excel, то возможно вам приходилось работать с таблицами, необработанными данными. В ваших данных могил содержаться повторения. Обычно, нет времени на то, чтобы просмотреть просмотреть документ строчку за строчкой и удалить дубликаты вручную.
Хорошей новостью является то, что в Microsoft, предусмотрели необходимость в такой функции в Excell. Функция Удалить Дубликаты, поможет вам быстро найти повторяющиеся данные в таблицах и удалить их.
Всего за пару щелчков мышкой, я удалил повторяющиеся строки в моей таблице Excell, с помощью функции Удаления Дубликатов.
В этом уроке, я научу вас использовать функцию Удалить Дубликаты. Вы узнаете, как использовать эту функцию, чтобы удалить повторяющиеся строки в таблице. Я дам вам несколько советов, как правильно использовать эту функцию, что вы удалили только действительно повторяющиеся строки.
Что бы вам было удобнее следовать инструкциям урока, я рекомендую вам загрузить файлы примеров. Вы можете найти ссылку голубого цвета Download Attachment справа от текста этого урока или загрузить бесплатный файл- электронную таблицу прямо здесь .
Начнем Работу с Функцией Удалить Дубликаты в Excel
Если вы используете файл примеров, зайдите во вкладку Order List, данные в которой, пригодятся нам для этой части урока.
Давайте начнем с простого примера по удалению повторяющихся строк в Excel. В электронной таблице ниже, вы можете видеть несколько повторяющихся строк. Нам нужно удалить эти дубликаты, чтобы наш документ был проще.
В этом списке есть несколько дубликатов, которые нам нужно удалить.
1. Выделите Ваши Данные
Для того, чтобы удалить дубликаты, первое, что вы должны сделать — это выделить ваши данные. Если над вашими данными в таблице, нет других, то вы можете выделить целиком столбцы, использовав верхнюю часть электронной таблицы. В данном случае я собираюсь выделить данные в таблице, чтобы удалить дубликаты.
Я выделил строки с данными, чтобы начать работать с удалением дубликатов.
2. Найдите Функцию в Excel Для Удаления Дубликатов
Функция Удалить Дубликаты, находится во вкладке Данные. Более точно, вы найдете кнопку Удалить Дубликаты в разделе Работа с Данными, в этой вкладке. После того как вы найдете кнопку, просто нажмите на нее для запуска мастера удаления.
Кнопка Удалить Дубликаты находится во вкладке Данные, в верхней панели Excel, в разделе Работа с Данными.
3. Выберите Критерии для Удаления Дубликатов
После того, как вы щелкните на кнопке Удаление Дубликатов, появится новое окно с чекбоксами. Этот лист, предлагает вам задать, какие поля нужно будет проверять на наличие повторов. По умолчанию все отмечено.
Для данного примера, не делайте каких-либо изменений в этом окне. Нажмите ОК, чтобы удалить повторы в таблице.
После нажатия на кнопку Удалить Дубликаты, Excel откроет новое окно со списком вариантов; для данного примера, не вносите никаких изменений.
4. Оцените Результаты
После того, как вы нажмете ОК, Excel удалит повторы в таблице, и выдаст вам сообщение, что он удалил. Я настоятельно рекомендую вам проверять результат, когда вы работаете с данными.
Назначение Удаления Дубликатов — удалять повторяющиеся строки, но нужно быть аккуратным в использовании этой функции. Вы всегда можете отменить последний шаг, если вы что-то сделали неправильно.
Удалить Дубликаты, выдаст вам сообщение, как много строк было удалено, и сколько осталось нетронутыми.
Быстрое Удаление Дубликатов — Видео Урок
Посмотрите наш видеоурок ниже, в котором показан процесс удаления дубликатов в Excel. Продолжайте читать это урок дальше, чтобы еще больше узнать о функции Удалить Дубликаты, и дополнительных техниках, которые позволять вам найти и удалить повторы с наибольшей эффективностью.
Удаление Дубликатов по Нескольким Критериям
Давайте вернемся, к казалось бы, простому меню, которое у нас выскакивает при выделенных данных. В этом списке представлены все колонки нашей Excel таблицы. Вы можете заметить, что каждой колонке соответствует свой чекбокс.
Зачем нам нужно это меню? Главным образом, оно позволят нам уточнить для Excel, каким образом будут удалять повторы. Давайте рассмотрим пример:
Пример Удаления Дубликатов по одному фактору.
На скриншоте выше, я опять выделили данные и нажал на кнопку Удалить Дубликаты. Затем, я снял выделения в чекбоксах, за исключением одного — «Chef«. Результат показан в нижней половине картинки. Заметьте, что наша таблица уменьшилась всего на три строки, на те в которых повторялось имя шефа.
Когда мы отмечаем только чекбокс с названием «Chef», мы просим Excel, искать повторы только в колонке Chef. Первый раз, как он видит повторяющееся имя в колонке chefe, то он удаляет целую строку, в независимости от того, чем отличаются другие колонки.
Будьте Осторожны Удаляя Повторяющиеся Строки в Excell
И вот почему так важно соблюдать осторожность при использовании функции «Удалить Дубликаты». Если вы оставите удаление по одному фактору, то вы можете случайно удалить данные, которые на самом деле нужны.
Совет: окошки, которые вы оставляете отмеченными в окне Удаления Дубликатов — это комбинации по которым Excel будет проверять повторы. Оставляйте отмеченными несколько чекбоксов, для более аккуратного удаления.
Часто, одной колонки не достаточно, что бы достоверно судить о наличии повторов. Если у вас есть онлайн магазин, и вы ведете базу данных по покупателям, велики шансы, что среди ваши данных есть более чем одно упоминание покупателя «Mike Smith». Вы должны отмечать несколько колонок, для правильного удаления дубликатов, такие как имя покупателя, его адрес или дата регистрации. Вот почему мы отмечаем несколько колонок.
Если вы хотите, чтобы удаление повторов было более точным, оставляйте отмеченными несколько чекбоксов (колонок), когда используете функцию Удалить Дубликаты. И кончено же, всегда дважды проверьте ваши данные, после использования этой функции.
Когда Нужно Быть Избирательным
Если вы используете таблицу с примерами, откройте вкладку Duplicate Shifts, для этой части урока.
Вы можете задаться вопросом: а может быть ситуация, где вам действительно придется снять галочки с каких-то окошек? Конечно может. Давайте рассмотрим следующий пример.
В таблице ниже у меня есть данные о рабочей смене сотрудников, и я случайно загрузил данные два раза. Для каждого сотрудника есть время прихода и ухода, и плюс к этому есть колонка с датой, когда я загрузил отчет. Присутствуют повторы для каждой строки, за исключением одной колонки F, где стоит Дата Загрузки Отчета.
Мне необходимо удалить повторы, потому что отчет был ошибочно загружен дважды (посмотрите на последнюю колонку), но мне нужно исключить последнюю колонку из проверок по дубликатам.
Давайте подумаем: если я отмечу все колонки для поиска повторов, Excel не найдет дубликатов. Но, я на самом деле хочу удалить повторы в рабочих сменах. Мне на самом деле не важно, в какой день я загрузил отчет, поэтому я должен исключить колонку F, при оценке повторяющихся строк.
Мои строки почти что те же; отличия только в колонке F, я не хочу, чтобы Excel оценивал ее при поиске повторов. Если я оставлю галочки во всех чекбоксах, Excel вообще не найдет повторов.
Эти строки не совсем повторы — в них не все повторяется, но мне нужно удалить дубликаты, основываясь на данных в колонках A-E.
Что бы сделать это, я снова выделяю таблицу и снова запускаю функцию Удалить Дубликаты. На этот раз, я оставил отмеченными все чекбоксы, за исключением Report Download Date (дата загрузки отчета).
Заметьте, что Excel удалил дубликаты, потому что он игнорировал и не стал проверять в процессе работы алгоритма колонку F.
Вы можете представить себе это таким образом: те чекбоксы которые вы оставили отмеченными, соответствуют тем колонкам, которые Excel стал рассматривать в ходе поиска повторов. Если есть особые колонки, в которых не надо искать дубликаты, то снимите соответствующие галочки в окне Удалить Дубликаты.
Используйте Удалить Дубликаты для Пустых Строк
Один из любимых моих вариантов использования функции Удаления Дубликатов — это избавления от пустых строк в моих данных.
Функция Удалить Дубликаты, невероятно удобна при удалении пустых строк в электронной таблице.
Для того чтобы удалить пустые строки, подчеркните данные в таблице. Затем, Удалите Дубликаты и оставьте все галочки отмеченными. Excel удалит все пустые строки, за исключением первой! Так как технически первая пустая строке не является повтором (она ведь оригинал), то Excel оставляет ее нетронутой. Ее вам придется удалить вручную.
Помните, при этом, что у вас будут удалены все повторяющиеся строки, а не только пустые.
Подводим Итоги и Продолжаем Обучение
Удаление дубликатов в таблицах Excel — это существенный навык при работе с данными. Когда вы работаете с набором данных, вам сложно найти время, для того чтобы вручную искать повторы и удалять их. Вот почему, стоит научиться пользоваться функцией «Удалить Дубликаты» в Excel.
Вот еще два других урока, по работе с таблицами, которые помогут вам развить ваши навыки работы в программе Excel.
- Официальная документация Microsoft по работе с функцией Удалить Дубликаты — очень полезна, и это второй по важности источник, к которому вам стоит обратиться.
- Урок Bob Filsser — 1 2 Техник для Уверенных Пользователей содержит краткую информацию по использованию функции Удаление Дубликатов, а так же в нем рассказывается о других важных техниках, которые нужны при работе с данными.
Как вы используете функцию Удалить Дубликаты при работе с данными в таблице Excel? Если у вас возникнут какие-то вопросы, обязательно пишите в комментариях и мы вам поможем.
Как удалить одинаковые слова в excel
В некоторых случаях повторяющиеся данные могут быть полезны, но иногда они усложняют понимание данных. Используйте условное форматирование для поиска и выделения повторяющихся данных. Это позволит вам просматривать повторения и удалять их по мере необходимости.
Выберите ячейки, которые нужно проверить на наличие повторений.
Примечание: В Excel не поддерживается выделение повторяющихся значений в области «Значения» отчета сводной таблицы.
Выберите Главная > условное форматирование > выделение правил ячеек > повторяющихся значений.
В поле рядом со значениями выберите форматирование, которое нужно применить к повторяющимся значениям, а затем нажмите кнопку ОК.
Удаление повторяющихся значений
При использовании функции Удаление дубликатов повторяющиеся данные удаляются безвозвратно. Чтобы случайно не потерять необходимые сведения, перед удалением повторяющихся данных рекомендуется скопировать исходные данные на другой лист.
Выделите диапазон ячеек с повторяющимися значениями, который нужно удалить.
Совет: Перед попыткой удаления повторений удалите все структуры и промежуточные итоги из своих данных.
Выберите Данные > Удалить дубликаты, а затем в разделе Столбцы проверка или снимите флажок столбцов, в которых нужно удалить дубликаты.
Например, на данном листе в столбце «Январь» содержатся сведения о ценах, которые нужно сохранить.
Поэтому флажок Январь в поле Удаление дубликатов нужно снять.
Нажмите кнопку ОК.
Примечание: Количество повторяющихся и уникальных значений, заданных после удаления, может включать пустые ячейки, пробелы и т. д.
Удалить повторяющиеся слова в Excel
При анализе текстовых данных зачастую требуется удалить повторяющиеся слова в каждой строке. Иногда слова дублируются из-за машинных ошибок. Иногда повторы допускают люди. Но так или иначе — их нужно удалить.
Удалить повторяющиеся слова во всем столбце
Если список заранее не известен, его можно составить, посчитав самые повторяющиеся слова в тексте. Если это короткие слова, есть риск повредить данные при обычной их замене на пустоту. Эту проблему решает макрос «Удалить слова из списка».
Если же нужно удалить внутри столбца все повторы, кроме первого, можно воспользоваться инструментом в группе SEO & PPC:
Удалить повторяющиеся слова внутри ячейки
Прежде, чем удалять повторы слов, можно убедиться, что они есть в принципе, для этого в !SEMTools есть отдельный инструмент — найти повторяющиеся слова в ячейках. Если массив фраз большой (десятки-сотни тысяч строк), эта процедура будет заметно быстрее.
В стандартных функциях и процедурах Excel удаления дублирующихся слов в ячейках нет. Мысленно алгоритм довольно прост и понятен — нужно:
- разбить ячейку на слова,
- просматривать их по порядку,
- удалять слова, если они уже встречались в строке ранее.
Есть несколько онлайн-инструментов, позволяющих удалить повторы слов в строках, но что, если бы возможность была прямо под рукой? Именно такую возможность предоставляет надстройка !SEMTools.
С помощью надстройки удалить повторы слов в ячейках можно буквально в 2 клика. Процедура производит удаление повторяющихся слов независимо от регистра. Макрос находится на вкладке «УДАЛИТЬ» в меню «Удалить слова». Ниже — наглядная инструкция:
Удалить повторяющиеся слова в ячейках диапазона – точно совпадающие слова
Удалить повторяющиеся слова с учетом словоформ
Иногда повторами можно считать не только полностью совпадающие слова, но и другие формы тех же слов. Для того, чтобы произвести такое удаление, потребуется лемматизация слов, чтобы производить сравнение их лемм. При запуске процедуры скачивается словарь лемм, он и используется для удаления повторов слов независимо от их словоформ. Из слов с одинаковой леммой остается слово, идущее в ячейке первым по порядку.
Макрос также работает независимо от регистра — здравый смысл подсказывает, что слово остается словом вне зависимости от регистра символов в нем. Однако, если есть кейсы, где необходим чувствительный к регистру поиск и удаление — можно обратиться к автору.
Удалить повторяющиеся слова в ячейках с учетом их словоформ
Удалить повторяющиеся слова в диапазоне, собрать уникальные, посчитать и вывести списком
Иногда, например, при семантическом анализе текста, удаление повторов слов нужно произвести не в каждой ячейке, а по всему диапазону ячеек. Помимо выделения уникальных слов, может быть интересно вычислить и количество уникальных слов в тексте. Здесь вам поможет раздел про составление частотного словаря n-gram.
Перед тем, как производить все указанные процедуры, рекомендуется удалить все знаки препинания из ячеек Excel, т.к. слово со знаком препинания для Excel — уже другое слово.
Нужно удалить повторяющиеся слова в Excel?
Надстройка !SEMToolsпоможет решить эту и сотни других рабочих задач за пару кликов!
Поиск и удаление дубликатов в Microsoft Excel
При работе с таблицей или базой данных с большим количеством информации возможна ситуация, когда некоторые строки повторяются. Это ещё больше увеличивает массив данных. К тому же, при наличии дубликатов возможен некорректный подсчет результатов в формулах. Давайте разберемся, как в программе Microsoft Excel отыскать и удалить повторяющиеся строки.
Поиск и удаление
Найти и удалить значения таблицы, которые дублируются, возможно разными способами. В каждом из этих вариантов поиск и ликвидация дубликатов – это звенья одного процесса.
Способ 1: простое удаление повторяющихся строк
Проще всего удалить дубликаты – это воспользоваться специальной кнопкой на ленте, предназначенной для этих целей.
-
Выделяем весь табличный диапазон. Переходим во вкладку «Данные». Жмем на кнопку «Удалить дубликаты». Она располагается на ленте в блоке инструментов «Работа с данными».
Способ 2: удаление дубликатов в «умной таблице»
Дубликаты можно удалить из диапазона ячеек, создав умную таблицу.
- Выделяем весь табличный диапазон.
- Находясь во вкладке «Главная» жмем на кнопку «Форматировать как таблицу», расположенную на ленте в блоке инструментов «Стили». В появившемся списке выбираем любой понравившийся стиль.
- Затем открывается небольшое окошко, в котором нужно подтвердить выбранный диапазон для формирования «умной таблицы». Если вы выделили все правильно, то можно подтверждать, если допустили ошибку, то в этом окне следует исправить. Важно также обратить внимание на то, чтобы около параметра «Таблица с заголовками» стояла галочка. Если её нет, то следует поставить. После того, как все настройки завершены, жмите на кнопку «OK». «Умная таблица» создана.
Этот способ является наиболее универсальным и функциональным из всех описанных в данной статье.
Способ 3: применение сортировки
Данный способ является не совсем удалением дубликатов, так как сортировка только скрывает повторные записи в таблице.
- Выделяем таблицу. Переходим во вкладку «Данные». Жмем на кнопку «Фильтр», расположенную в блоке настроек «Сортировка и фильтр».
- Фильтр включен, о чем говорят появившиеся пиктограммы в виде перевернутых треугольников в названиях столбцов. Теперь нам нужно его настроить. Кликаем по кнопке «Дополнительно», расположенной рядом все в той же группе инструментов «Сортировка и фильтр».
- Открывается окно расширенного фильтра. Устанавливаем в нем галочку напротив параметра «Только уникальные записи». Все остальные настройки оставляем по умолчанию. После этого кликаем по кнопке «OK».
После этого, повторяющиеся записи будут скрыты. Но их показ можно в любой момент включить повторным нажатием на кнопку «Фильтр».
Способ 4: условное форматирование
Найти повторяющиеся ячейки можно также при помощи условного форматирования таблицы. Правда, удалять их придется другим инструментом.
- Выделяем область таблицы. Находясь во вкладке «Главная», жмем на кнопку «Условное форматирование», расположенную в блоке настроек «Стили». В появившемся меню последовательно переходим по пунктам «Правила выделения» и «Повторяющиеся значения…».
- Открывается окно настройки форматирования. Первый параметр в нём оставляем без изменения – «Повторяющиеся». А вот в параметре выделения можно, как оставить настройки по умолчанию, так и выбрать любой подходящий для вас цвет, после этого жмем на кнопку «OK».
После этого произойдет выделение ячеек с повторяющимися значениями. Эти ячейки вы потом при желании сможете удалить вручную стандартным способом.
Внимание! Поиск дублей с применением условного форматирования производится не по строке в целом, а по каждой ячейке в частности, поэтому не для всех случаев он является подходящим.
Способ 5: применение формулы
Кроме того, найти дубликаты можно применив формулу с использованием сразу нескольких функций. С её помощью можно производить поиск дубликатов по конкретному столбцу. Общий вид данной формулы будет выглядеть следующим образом:
=ЕСЛИОШИБКА(ИНДЕКС(адрес_столбца;ПОИСКПОЗ(0;СЧЁТЕСЛИ(адрес_шапки_столбца_дубликатов: адрес_шапки_столбца_дубликатов (абсолютный); адрес_столбца;)+ЕСЛИ(СЧЁТЕСЛИ(адрес_столбца;; адрес_столбца;)>1;0;1);0));»»)
- Создаем отдельный столбец, куда будут выводиться дубликаты.
- Вводим формулу по указанному выше шаблону в первую свободную ячейку нового столбца. В нашем конкретном случае формула будет иметь следующий вид:
После этих действий в столбце «Дубликаты» отобразятся повторяющиеся значения.
Но, данный способ все-таки слишком сложен для большинства пользователей. К тому же, он предполагает только поиск дублей, но не их удаление. Поэтому рекомендуется применять более простые и функциональные решения, описанные ранее.
Как видим, в Экселе есть множество инструментов предназначенных для поиска и удаления дублей. У каждого из них есть свои особенности. Например, условное форматирование предполагает поиск дублей только по каждой ячейке в отдельности. К тому же, не все инструменты могут не только искать, но и удалять повторяющиеся значения. Наиболее универсальный вариант – это создание «умной таблицы». При использовании данного способа можно максимально точно и удобно настроить поиск дубликатов. К тому же, их удаление происходит моментально.