LPIC101/103.7 Regulären Ausdrücke

Gewichtung: 3

Begriffs- und Zeichenklärung

Was sind reguläre Ausdrücke?

• Reguläre Ausdrücke erleichtern das durchsuchen von Texten
• Sie beschreiben anhand von Wildcards, Suchwörtern und Positionsangaben und ermöglichen so eine differenziertere Suche
• Wildcards werden auch Jokerzeichen genannt und sind Platzhalter für ein oder mehrere Zeichen
• Reguläre Ausdrücke werden in englisch Regular Expressions genannt
• Reguläre Ausdrücke werden meist mit RegEx oder RegExp abgekürzt

Wo kann man reguläre Ausdrücke verwenden?

• Mit dem Filter "grep" in der Shell
• Mit dem Vi-Editor in der Shell
• Mit dem sed Editor in der Shell
• Im Kate Editor (Option {} aktivieren im Suchen Fenster)
• In allen Programmiersprachen
• In vielen weiteren Programmen (z.B. libreOffice)

Gültige Metazeichen

Metazeichen beschreiben die Position einer Suchanfrage. Sie könen auch Zeichen und Zeichensätze definieren, nach denen gesucht werden soll. Gültige Metazeichen sind :

• ^ Textanker für Zeilenanfang
• $ Textanker für Zeilenende
• \< markiert einen Wortanfang
• \> markiert ein Wortende
• \ schützt ein Zeichen vor der Interpretation (z.B. \$ sucht nach Dollarzeichen und nimmt diesen seine Spezialbedeutung)
• [] sucht nach einem Zeichen oder einer Zeichenfolge innerhalb des eckig geklammerten Bereichs (z.B. [a-g] )
• [^Zeichen] Schließt das Zeichen nach dem Circonflex aus der Suche aus

Wildcards (Joker/Quantoren)

Wildcards beschreiben vorgehende und nachfolgende Zeichen.

• * bezeichnet keine oder beliebig viele Wiederholungen des vorangegangenen Zeichens
• ? bezeichnet keine oder eine Wiederholung des vorangegangenen Zeichens
• + bezeichnet, dass das voranstehende Zeichen mindestens einmal vorkommt
• . wird als Platzhalter für ein beliebiges Zeichen verwendet

Verwendung von grep mit regulären Ausdrücken

• Der Filter grep bedeutet "Global search for Regular Expressions and Print out" (Sinngemäß: Globale Suche durch Reguläre Ausdrücke mit Ausgabe).

Hinweise für die Verwendung von grep:

• -v ist bei grep nicht verbose (Gesprächigkeit), sondern invertiert die Ausgabe (z.B. grep -v "Testwort" zeigt alle Zeilen ohne Testwort)
• -E aktiviert erweiterte reguläre Ausdrücke (entspricht dem Befehl egrep)
• -i ignoriert Groß- & Kleinschreibung

Beispiele für Verwendung von grep mit RegEx

# grep [Ww]ill[iy] Adressliste – sucht in der Datei Adressliste nach Willi,willi,Willy und willy. (grep -i Will[iy] liefert das gleiche Ergebnis, ignoriert jedoch auch die Groß- & Kleinschreibung von den anderen Buchstaben)

# grep W.lly Adressliste – der Punkt ersetzt ein beliebiges Zeichen, somit würden Willy, Wally usw. gefunden werden, sofern diese existieren.

# grep -v ^[#] /etc/config.confoder Alternativ # grep ^[^#] /etc/config.conf – findet alle Zeilenanfänge, welche nicht mit einer Raute beginnen

# grep ^[^#] /etc/config.conf | grep -v ^$ – Sucht alle Zeilenanfänge ohne Raute und mit Zeichen am Anfang (siebt Leerzeilen aus, Leerzeile ist Zeilenanfang ^ gefolgt von Zeilenende $)

# grep 'Wort[1-9]*\>' Suchdatei – Sucht alle Wörter, welche mit "Wort" anfangen und anschließend beliebig viele Zahlen bis zum Wortende beinhalten.

# grep 'Wort[1-9]\?\>' Suchdatei – Sucht alle Wörter, welche mit "Wort" anfangen und anschließend eine beliebige einstellige Zahl bis zum Wortende beinhalten.

# grep -w '1\{3,5\}' Suchdatei – Mit dem folgenden Kommando werden alle Zeilen einer Datei angezeigt, die drei, vier oder fünf aufeinander folgende Einsen enthalten.

Schutz von Metazeichen

Einige Metazeichen müssen durch einen Backslash geschützt werden, damit grep diese nicht als Suchmusterbestandteil versteht.

Diese Zeichen sind: ? + { } | ( )

egrep und fgrep

Ursprünglich eigenständige Filter, werden diese beiden Varianten heute kaum noch verwendet. Sie sind in grep mit dem Optionen -E und -F enthalten. egrep hat erweiterte Funktionen (benötigt daher etwas länger zum Suchen), fgrep verzichtet auf Metazeichen und spart somit Zeit und Rechenleistung.

Der Streamlineeditor sed

Der Editor sed arbeitet mit Strömen. Er liest in seiner puren Form StdIn (Kanal 0) und gibt in StdOut (Kanal 1) aus, ähnlich dem Befehl cat. Um das Ergebnis zu speichern muss man eine extra Zieldatei angeben. Quelle und Ziel dürfen nicht identisch sein.

Wichtige Kommandos und Optionen

• -e Kommando – Kündigt ein Kommando an. Dies ist nur nötig, wenn mehrere Kommandos aufeinander folgen sollen.
• -f Scriptdatei – Lädt mehrere Kommandos aus einem Script. Besonders praktisch, wenn eine bestimmte Kommandoroutine mehrmals aufgerufen werden soll.
• -g – sed sucht normalerweise nur innerhalb einer Zeile. Die Option g setzt das Suchverhalten auf global und lässt sed somit auch nach einem Fund weitersuchen.

Adressierung mit sed

Der Editor sed sucht und bearbeitet Zeilen innerhalb einer Datei. Manchmal ist es nötig den Arbeitsbereich einzuschränken. Dies kann auf drei Arten geschehen : 1. Angabe von Zeilennummern 2. Verwendung des $ Zeichens für die Bearbeitung der letzten Zeile 3. Verwendung von regulären Ausdrücken (auf beiden Seiten mit Slashes begrenzt nach dem Muster /regEx/ )

Wird keine Adressierung vorgenommen so bearbeitrt sed die gesamte Datei.

Beispiele für das Arbeiten mit sed

sed kann mit dem Kommando "y" ähnlich wie translate (Siehe 103.2) einzelne Zeichen suchen und ersetzen. Im Gegensatz zu translate kann sed die Änderungen jedoch in einer neuen Datei abspeichern. Dabei kann für jedes Zeichen nur ein Zeichen ersetzt werden, keine Zeichenkette (1:1 Beziehung).

In dem folgenden Beispiel wird ein Komma mit einem Semikolon ersetzt. # sed 'y/,/;/' Kommadatei > Semikolondatei

• # sed -e '/^$/d' -e '/^#/d' /etc/config.conf – Das -e leitet jeweils ein Kommando ein. Die RegEx müssen innerhalb von Slashes stehen. Der Befehl "d" löscht das Suchergebnis. "/^$/" sucht von Zeilenanfang bis Zeilenenede. "/^#/" sucht Rauten am Zeilenanfang. Somit werden bei diesem Befehl Kommentarspalten und Leerzeilen gelöscht.
• # sed '25,47d' Originaldatei > Kurzdatei – In diesem Befehl wird zur Adressierung die Zeilenangabe verwendet. Es werden also Zeile 25 und 47 gelöscht. Das Kommando kann durch ein "!" invertiert werden ("25,45!d").

• archangel:/textfiles # sed 's/ue/ü/' Namensliste – Das Kommando s substituiert Zeichen. Es ist leistungsfähiger als y, da es ein Zeichen auch durch eine Zeichenkette ersetzen kann und umgekehrt. In diesem Beispiel wird ein "ue" mit einem "ü" ersetzt. Mit diesem Befehl wird allerdings lediglich der erste gefundene String mit "ue" durch "ü" ersetzt. Durch das setzen der globalen Option "g" werden alle "ue"'s im Text mit "ü" ersetzt : archangel:/textfiles # sed 's/ue/ü/g' Namensliste

Skripte in sed

Man kann mitels Skripten eine Befehlskette durch sed ausführen lassen.

In dem folgenden Beispiel werden Umlaute (Ä,ä,Ü,ü,Ö,ö und ß) mit HTML tauglichen Zeichenketten ersetzt ("Ä" ist beispielsweise in HTML "Ä"). Das Skript wird mit cat (siehe 103.2) erstellt und heisst sedskript :

# cat sedskript 
s/ä/\&auml\;/g;
s/Ä/\&Auml\;/g;
s/ü/\&uuml\;/g;
s/Ü/\&Uuml\;/g;
s/ö/\&ouml\;/g;
s/Ö/\&Ouml\;/g;
s/ß/\&szlig\;/g;

Anschließend kann das Skript mit der Option -f eingelesen werden. Es müssen nun lediglich Quell- & Zieldatei angegeben werden und die Befehle in dem Skript werden auf die Quelldatei angewandt.

# sed -f sedskript Quelltext-mit-Umlauten > Zieltext-in-HTML-Format

Kontrollfragen

Wonach sucht RegEx ^[^#]

Antwort : Nach einem Zeilenanfang ohne Raute

Sie geben im Kate Editor unter Suchen ohne RegExp "a*" ein. Was erhalten Sie als Antwort?

Antwort : Sie suchen nach dem String "a*".

Sie geben in der Kate-Suche mit RegEx a* ein, was erhalten Sie als Antwort?

Antwort: Sie erhalten alle Wörter, welche mit einem a beginnen und eine bis beliebig viele Wiederholungen dieses Zeichens aufweisen.

Sie geben in der Shell den Befehl ls a* ein, was erhalten Sie als Antwort?

Antwort: Sie erhalten alle Dateien und Verzeichnisse, welche mit a beginnen und deren Folgezeichen belibieg sein können.

Sie geben in der Shell den Befehl ls a??? ein, was erhalten Sie als Antwort?

Antwort: Sie erhalten alle Dateien und Verzeichnisse, deren Name mit a beginnt und anschließend genau drei beliebige Folgezeichen beinhaltet.

Wie können Sie sich alle Einträge vom 10ten Dezember im Systemlog ansehen?

Antwort : # grep '^Dec 10' /var/log/syslog

Wonach sucht das folgende RegEx Kommando : # grep –w '[0-9]\{3\}' Suchdatei ?

Antwort: Es sucht nach Zeilen, die drei aufeinander folgende Ziffern beinhalten.

Wonach sucht das folgende RegExp Kommando : # grep '[A-Z]\+' Suchdatei ?

Antwort: Es sucht nach Zeilen mit mindestens einem Großbuchstaben.

Was bewirkt folgender Befehl archangel:/textfiles # sed 's/ae/ä/g' DeutscherText.txt ?

Antwort: Er ersetzt alle "ae" Strings mit einem "ä".