Python: Usuwanie duplikatów z listy

Tak stworzymy sobie listę, w której niektóre wyrazy się powtarzają:

text='''
Industrial Light & Magic: In this case, you find Python
used in the production process for scripting complex,
computer graphic-intensive films. Originally, Industrial
Light & Magic relied on Unix shell scripting, but it was
found that this solution just couldn't do the job. Python
was compared to other languages, such as Tcl and Perl, and
chosen because it's an easier-to-learn language that the
organization can implement incrementally. In addition, Python
can be embedded within a larger software system as a scripting
language, even if the system is written in a language such as
C/C++. It turns out that Python can successfully interact with
these other languages in situations in which some languages can't.
'''
words = text.replace("\n"," ").split(' ')

Żeby sprawdzić jakie słowa się powtarzały możesz wywołać

sorted(words)

Jest tu dużo powtarzających się wartości. Oprócz listy jest też w Pythonie obiekt set (zbiór). O ile w liście kolejność jest istotna i elementy się powtarzają, to w secie kolejności nie ma i obiekty się nie powtarzają. Taką set robi się prosto:

set(words)

Ów set można znowu skonwertować do listy:

list(set(words))

 

Taka przekonwertowana lista nie zawiera już elementów powtarzających się