LinkedHashSet отличается от HashSet только тем, что в его основе лежит LinkedHashMap вместо HashMap. Благодаря этому порядок элементов при обходе коллекции является идентичным порядку добавления элементов (insertion-order). При добавлении элемента, который уже присутствует в LinkedHashSet (т.е. с одинаковым ключом), порядок обхода элементов не изменяется.
"... При добавлении элемента, который уже присутствует в LinkedHashSet (т.е. с одинаковым ключом) ... ". В структуре данных Set нет понятия "ключ". Set-ы используют под капотом Map-ы, добавляя свои значения в ключи Map.