LPIC101/103.7 Regulären Ausdrücke

LPIC101/103.7 - Textdateien mit regulären Ausdrücken durchsuchen

Beschreibung

Gewichtung 3

Begriffs- und Zeichenklärung

Was sind reguläre Ausdrücke?

• Reguläre Ausdrücke erleichtern das durchsuchen von Texten
• Sie beschreiben anhand von Wildcards, Suchwörtern und Positionsangaben und ermöglichen so eine differenziertere Suche
• Wildcards werden auch Jokerzeichen genannt und sind Platzhalter für ein oder mehrere Zeichen
• Reguläre Ausdrücke werden in englisch Regular Expressions genannt
• Reguläre Ausdrücke werden meist mit RegEx oder RegExp abgekürzt

Wo werden reguläre Ausdrücke verwendet?

Verwendung	Beschreibung
Programmiersprachen	Alle
Shell	grep, find, vi(m), sed, awk, ...
GUI	Kate Editor, Libreoffice, ...

Metazeichen

Anker

Anker beschreiben die Position einer Suchanfrage

Anker	Beschreibung
^	Textanker für Zeilenanfang
$	Textanker für Zeilenende
\<	markiert einen Wortanfang
\>	markiert ein Wortende

Es können auch Zeichen und Zeichensätze angegeben werden, nach denen gesucht werden soll

Zeichen	Beschreibung
\	schützt ein Zeichen vor der Interpretation (z. B. \$ sucht nach Dollarzeichen und nimmt diesen seine Spezialbedeutung)
[]	sucht nach einem Zeichen oder einer Zeichenfolge innerhalb des eckig geklammerten Bereichs (z. B. [a-g] )
[^Zeichen]	Schließt das Zeichen nach dem Circonflex aus der Suche aus

Quantoren

Wildcards (Joker/Quantoren) beschreiben vorgehende und nachfolgende Zeichen

Quantor	Beschreibung
.	Ein beliebiges Zeichen
*	Beliebig des vorangegangenen Zeichens
?	Keine oder eine Wiederholung des vorangegangenen Zeichens
+	Mindestens eine Wiederholung des vorangegangenen Zeichens

Anwendung

GREP

Verwendung von grep mit regulären Ausdrücken

Der Filter grep bedeutet "Global search for Regular Expressions and Print out" (Sinngemäß: Globale Suche durch Reguläre Ausdrücke mit Ausgabe).

Hinweise

• -v ist bei grep nicht verbose (Gesprächigkeit), sondern invertiert die Ausgabe (z. B. grep -v "Testwort" zeigt alle Zeilen ohne Testwort)
• -E aktiviert erweiterte reguläre Ausdrücke (entspricht dem Befehl egrep)
• -i ignoriert Groß- & Kleinschreibung

Beispiele

grep [Ww]ill[iy] Adressliste

sucht in der Datei Adressliste nach Willi,willi,Willy und willy. (grep -i Will[iy] liefert das gleiche Ergebnis, ignoriert jedoch auch die Groß- & Kleinschreibung von den anderen Buchstaben)

grep W.lly Adressliste

der Punkt ersetzt ein beliebiges Zeichen, somit würden Willy, Wally usw. gefunden werden, sofern diese existieren.

grep -v ^[#] /etc/config.confoder Alternativ grep ^[^#] /etc/config.conf

findet alle Zeilenanfänge, welche nicht mit einer Raute beginnen

grep ^[^#] /etc/config.conf | grep -v ^$

Sucht alle Zeilenanfänge ohne Raute und mit Zeichen am Anfang (siebt Leerzeilen aus, Leerzeile ist Zeilenanfang ^ gefolgt von Zeilenende $)

grep 'Wort[1-9]*\>' Suchdatei

Sucht alle Wörter, welche mit "Wort" anfangen und anschließend beliebig viele Zahlen bis zum Wortende beinhalten.

grep 'Wort[1-9]\?\>' Suchdatei

Sucht alle Wörter, welche mit "Wort" anfangen und anschließend eine beliebige einstellige Zahl bis zum Wortende beinhalten.

grep -w '1\{3,5\}' Suchdatei

Mit dem folgenden Kommando werden alle Zeilen einer Datei angezeigt, die drei, vier oder fünf aufeinander folgende Einsen enthalten.

Schutz von Metazeichen

Einige Metazeichen müssen durch einen Backslash geschützt werden, damit grep diese nicht als Suchmusterbestandteil versteht.

Diese Zeichen sind: ? + { } | ( )

egrep und fgrep

Ursprünglich eigenständige Filter, werden diese beiden Varianten heute kaum noch verwendet. Sie sind in grep mit dem Optionen -E und -F enthalten. egrep hat erweiterte Funktionen (benötigt daher etwas länger zum Suchen), fgrep verzichtet auf Metazeichen und spart somit Zeit und Rechenleistung.

SED

Der Streamlineeditor sed

Der Editor sed arbeitet mit Strömen. Er liest in seiner puren Form StdIn (Kanal 0) und gibt in StdOut (Kanal 1) aus, ähnlich dem Befehl cat. Um das Ergebnis zu speichern muss man eine extra Zieldatei angeben. Quelle und Ziel dürfen nicht identisch sein.

Kommandos und Optionen

• -e Kommando – Kündigt ein Kommando an. Dies ist nur nötig, wenn mehrere Kommandos aufeinander folgen sollen.
• -f Scriptdatei – Lädt mehrere Kommandos aus einem Script. Besonders praktisch, wenn eine bestimmte Kommandoroutine mehrmals aufgerufen werden soll.
• -g – sed sucht normalerweise nur innerhalb einer Zeile. Die Option g setzt das Suchverhalten auf global und lässt sed somit auch nach einem Fund weitersuchen.

Adressierung mit sed

Der Editor sed sucht und bearbeitet Zeilen innerhalb einer Datei. Manchmal ist es nötig den Arbeitsbereich einzuschränken. Dies kann auf drei Arten geschehen : 1. Angabe von Zeilennummern 2. Verwendung des $ Zeichens für die Bearbeitung der letzten Zeile 3. Verwendung von regulären Ausdrücken (auf beiden Seiten mit Slashes begrenzt nach dem Muster /regEx/ )

Wird keine Adressierung vorgenommen so bearbeitrt sed die gesamte Datei.

Beispiele für das Arbeiten mit sed

sed kann mit dem Kommando "y" ähnlich wie translate (Siehe 103.2) einzelne Zeichen suchen und ersetzen. Im Gegensatz zu translate kann sed die Änderungen jedoch in einer neuen Datei abspeichern. Dabei kann für jedes Zeichen nur ein Zeichen ersetzt werden, keine Zeichenkette (1:1 Beziehung).

In dem folgenden Beispiel wird ein Komma mit einem Semikolon ersetzt. # sed 'y/,/;/' Kommadatei > Semikolondatei

• # sed -e '/^$/d' -e '/^#/d' /etc/config.conf – Das -e leitet jeweils ein Kommando ein. Die RegEx müssen innerhalb von Slashes stehen. Der Befehl "d" löscht das Suchergebnis. "/^$/" sucht von Zeilenanfang bis Zeilenenede. "/^#/" sucht Rauten am Zeilenanfang. Somit werden bei diesem Befehl Kommentarspalten und Leerzeilen gelöscht.
• # sed '25,47d' Originaldatei > Kurzdatei – In diesem Befehl wird zur Adressierung die Zeilenangabe verwendet. Es werden also Zeile 25 und 47 gelöscht. Das Kommando kann durch ein "!" invertiert werden ("25,45!d").

• archangel:/textfiles # sed 's/ue/ü/' Namensliste – Das Kommando s substituiert Zeichen. Es ist leistungsfähiger als y, da es ein Zeichen auch durch eine Zeichenkette ersetzen kann und umgekehrt. In diesem Beispiel wird ein "ue" mit einem "ü" ersetzt. Mit diesem Befehl wird allerdings lediglich der erste gefundene String mit "ue" durch "ü" ersetzt. Durch das setzen der globalen Option "g" werden alle "ue"'s im Text mit "ü" ersetzt : archangel:/textfiles # sed 's/ue/ü/g' Namensliste

Skripte in sed

Man kann mitels Skripten eine Befehlskette durch sed ausführen lassen.

In dem folgenden Beispiel werden Umlaute (Ä,ä,Ü,ü,Ö,ö und ß) mit HTML tauglichen Zeichenketten ersetzt ("Ä" ist beispielsweise in HTML "Ä"). Das Skript wird mit cat (siehe 103.2) erstellt und heisst sedskript :

# cat sedskript 
s/ä/\&auml\;/g;
s/Ä/\&Auml\;/g;
s/ü/\&uuml\;/g;
s/Ü/\&Uuml\;/g;
s/ö/\&ouml\;/g;
s/Ö/\&Ouml\;/g;
s/ß/\&szlig\;/g;

Anschließend kann das Skript mit der Option -f eingelesen werden. Es müssen nun lediglich Quell- & Zieldatei angegeben werden und die Befehle in dem Skript werden auf die Quelldatei angewandt.

# sed -f sedskript Quelltext-mit-Umlauten > Zieltext-in-HTML-Format

Anhang

Test

Wonach sucht RegEx ^[^#]

Antwort : Nach einem Zeilenanfang ohne Raute

Sie geben im Kate Editor unter Suchen ohne RegExp "a*" ein. Was erhalten Sie als Antwort?

Antwort : Sie suchen nach dem String "a*".

Sie geben in der Kate-Suche mit RegEx a* ein, was erhalten Sie als Antwort?

Antwort: Sie erhalten alle Wörter, welche mit einem a beginnen und eine bis beliebig viele Wiederholungen dieses Zeichens aufweisen.

Sie geben in der Shell den Befehl ls a* ein, was erhalten Sie als Antwort?

Antwort: Sie erhalten alle Dateien und Verzeichnisse, welche mit a beginnen und deren Folgezeichen belibieg sein können.

Sie geben in der Shell den Befehl ls a??? ein, was erhalten Sie als Antwort?

Antwort: Sie erhalten alle Dateien und Verzeichnisse, deren Name mit a beginnt und anschließend genau drei beliebige Folgezeichen beinhaltet.

Wie können Sie sich alle Einträge vom 10ten Dezember im Systemlog ansehen?

Antwort : # grep '^Dec 10' /var/log/syslog

Wonach sucht das folgende RegEx Kommando : # grep –w '[0-9]\{3\}' Suchdatei ?

Antwort: Es sucht nach Zeilen, die drei aufeinander folgende Ziffern beinhalten.

Wonach sucht das folgende RegExp Kommando : # grep '[A-Z]\+' Suchdatei ?

Antwort: Es sucht nach Zeilen mit mindestens einem Großbuchstaben.

Was bewirkt folgender Befehl archangel:/textfiles # sed 's/ae/ä/g' DeutscherText.txt ?

Antwort: Er ersetzt alle "ae" Strings mit einem "ä".

Siehe auch

• LPIC101/103.7 Regulären Ausdrücke