Linux - Comandos Sed & Awk com exemplos
-------------
No terminal Linux, usando o Bash (interpretador de comandos) para eu executar o comando editor chamado "sed" e o comando de análise chamado "awk" em meus shell scripts tenho que entender expressões regulares (REGEX).
-------------
sed = comando editor de textos (strings)
awk = comando de análise de textos (strings)
-------------
Strings = sequência de caracteres alfanuméricos formando ou não palavras
-------------
String Exemplos:
123456
aBcDeF
boca14
cloro2
-------------
Regex :::::::: Referências
[abc] ------- Um único caractere: a, b, OU c
[^abc] ------- Qualquer caractere exeto/menos: a, b, OU c
[a-z] ------- Qualquer caractere de a até z
[a-zA-Z] ------- Qualquer caractere de a-z OU A-Z
^ ------- Começo da linha
$ ------- Fim da linha
\A ------- Começo da string
\z ------- Fim da string
. ------- Qualquer caractere
\s ------- Qualquer espaço em branco
\S ------- Qualquer espaço não em branco
\d ------- Qualquer digito
\D ------- Qualquer não digito
\w ------- Qualquer palavra (letra, numero, underscore)
\W ------- Qualquer caractere que não seja palavra
\b ------- Borda
(...) ------- Captura o que estiver dentro. Pode conter outros grupos
(a|b) ------- a OU b
a? ------- Zero ou um a
a* ------- Zero ou mais a
a+ ------- Um ou mais a
a{3} ------- Exatamente 3 a
a{3,} ------- 3 ou mais a
a{3,6} ------- Ente 3 a 6 a
-------------
Exemplo de uso do awk (executo no terminal):
-------------
(mostra na tela a primeira coluna da string)
echo '1929 :2108102121 53.68.0.55' | awk '{print $1}'
-------------
OBS:
print $1 (Exibe a primeira coluna)
print $2 (Exibe a segunda coluna e assim por diante)
print $NF (Exibe a última coluna)
-------------
Mais um exemplo de uso do awk:
echo '1929 :2108102121 53.68.0.55' | awk '{print $1}' | wc -c
4
(conta os caracteres do resultado anterior)
-------------
O FORMATO BÁSICO PARA A SUBSTITUIÇÃO COM SED É:
-------------
sed ‘s/ENCONTRA_STRING/SUBSTITUI_STRING/’
sed ‘s/FIND_STRING/REPLACE_STRING/g’
sed "s,encontrar_string,substituir_string," nome_do_arquivo
sed "s/encontrar_string/substituir_string/g" nome_do_arquivo.txt
sed -i "s/find_string/replace_string/g" filename
-------------
OBS:
O "-i" opção diz para editar a linha de texto ou o arquivo de texto sobrescrevendo-o.
Em outras palavras, o arquivo é editado sem a criação de um segundo arquivo.
A seção "s/find_string/replace_string/g", diz para substituir ("s"), o "replace_string" para o " find_string" globalmente ("g").
A última parte do comando ("filename") é o nome do arquivo a ser editado.
-------------
Se eu quiser guardar uma cópia do arquivo original, pode omitir o "-i" opção e especificar um arquivo de saída como:
sed "s/find_string/replace_string/g" filename > saída
-------------
Se omitir o "g" do comando , o sed irá substituir apenas a primeira ocorrência do "find_string" e parar.
-------------
Executo:
1) echo -e 'Marina Juca \nFefe Nenem \nWilly Sara\nJuca Fefe' > sed_arq.txt
2) cat sed_arq.txt
3) cat -n sed_arq.txt
4) sed -e 's/Juca/Willy/' sed_arq.txt (mudar o nome)
5) cat sed_arq.txt
6) sed -e 's/Fefe/Sara/g' sed_arq.txt (mais de uma ocorrência do nome)
7) cat sed_arq.txt
8) cat sed_arq.txt | sed -e 's/Juca/Marina/;/Willy/d' (mudar o nome Juca para Marina e depois deletar o nome Willy)
9) cat sed_arq.txt
10) sed -e '1,3s/a/%/g' sed_arq.txt (mudar letras a para % que aparecem nas primeiras linhas)
11) cat sed_arq.txt
-------------
Para usar o comando sed, eu tenho um arquivo com preços de produtos.
1, Produto A, Title 545, Price $6.30
2, Produto B, Title 723, Price $7.90
3, Produto C, Title 610, Price $7.90
4, Produto A, Title 118, Price $6.30
5, Produto B, Title 482, Price $6.50
6, Produto C, Title 335, Price $6.30
7, Produto A, Title 271, Price $7.90
-------------
Crio o arquivo abrindo o terminal pelo menu do sistema. Executo:
1)
mkdir DirSed
2)
cd DirSed/
3)
echo -e '1, Produto A, Title 545, Price $6.30
2, Produto B, Title 723, Price $7.90 \n3, Produto C, Title 610, Price $7.90 \n4, Produto A, Title 118, Price $6.30 \n5, Produto B, Title 482, Price $6.50 \n6, Produto C, Title 335, Price $6.30 \n7, Produto A, Title 271, Price $7.90' > ArqProdut.txt ; cat ArqProdut.txt
.
OBS:
Quero mudar o preço dos produtos que custam 6.30 para 7.30.
.
Executo:
1) sed 's/6.30/7.30/' > ArqProdut.txt
2) cat ArqProdut.txt
.
As duas principais ferramentas para manipulação de arquivos e streams do Unix/Linux/GNU talvez sejam o "sed" e o "awk".
.
Com o SED é possível substituir e “casar” padrões, sempre por meio de Expressões Regulares.
.
O esquema SED e AWK:
O comando lê um arquivo, linha por linha, e aplica a expressão do parâmetro a cada uma delas.
.
A FÓRMULA DO SUCESSO COM SED:
.
1) sed 's/texto-a-ser-substituido/texto-novo/'
2) sed -i 's,palavra-a-ser-substituida,palavra-nova,' nome-do-arquivo.txt
.
OBS:
(a opção -i, sobrescreve o conteúdo do nome-do-arquivo.txt)
.
3) sed 's,texto-a-ser-substituido,texto-novo,' *
4) sed -i 's,texto-a-ser-substituido,texto-novo,g' *
.
OBS:
O comando acima faz a substituição de uma mesma string dentro de vários arquivos de um mesmo diretório fazendo uso do comando sed
.
5) sed -i.novobkp 's,palavra-a-ser-substituida,palavra-nova,' nome-do-arquivo.txt
.
É possível filtrar a saída de outro comando, em vez de filtrar um arquivo, usando pipe "|".
.
Executo:
1)
echo "Testando o sed: Aprendo a trabalhar com sed" | sed 's/sed/awk/'
2)
echo "Testando a vida: Aprendo a trabalhar com a vida" | sed 's/vida/morte/'
3)
echo "Testando o claro: Aprendo a trabalhar com o claro" | sed 's/claro/escuro/'
echo "Testando o claro: Aprendo a trabalhar com o claro" | sed 's/claro/escuro/g'
4)
echo "Testando o líquido: Aprendo a trabalhar com o líquido" | sed 's/líquido/sólido/g'
5)
mkdir SedTeste
cd SedTeste/
echo "Testando o líquido: Aprendo a trabalhar com o líquido" | sed 's/líquido/sólido/' > ArqLiquido.txt
ls -t
6)
cat ArqLiquido.txt
7)
sed -i.bkp 's/líquido/sólido/' ArqLiquido.txt
ls -t
cat ArqLiquido.txt
.
USAR CARACTERES DE ESCAPE:
.
OBS:
Escapo caracteres usando barra invertida: \
.
Isto: /proc/cpuinfo tem que ser escapado. Fica assim:
\/proc\/cpuinfo
.
Isto: /etc/passwd tem que ser escapado. Fica assim:
\/etc\/passwd
.
EXECUTO:
.
1) echo "O arquivo /proc/cpuinfo possui importantes informações!"
2) echo "O arquivo /etc/passwd possui importantes informações!"
.
AGORA USO O SED:
.
1) echo "O arquivo /proc/cpuinfo possui importantes informações!" | sed 's,\/proc\/cpuinfo,\/etc\/passwd,'
.
OBS:
ENTÃO, ABAIXO A MESMA COISA QUE ACIMA; MAS DE UM MODO VISUAL MAIS ILEGÍVEL QUE ASSUSTA:
.
EXECUTO:
.
echo "O arquivo /proc/cpuinfo possui importantes informações!" | sed 's/\/proc\/cpuinfo/\/etc\/passwd/'
.
OBS:
SETE META CARACTERES PARA LEMBRAR.
1) ^ : começa com
2) $ : término de linha
3) . : qualquer caractere
4) [] : relação de valores possíveis para um caracter. Você pode especificar uma lista ( [abcde] ), uma faixa ( [0-9] ), ou várias faixas ( [a-zA-Z0-9] ).
5) \{\} : especifica quantas vezes o caractere pode se repetir. Por exemplo: “{2}” (duas vezes), “{2,5}” (duas a cinco vezes), “{2,}” (duas ou mais vezes).
6) | : operador lógico ou
7) .* : operador lógico e
.
OBS:
FILE GLOBBING = Uma forma que o bash (shell) tem de selecionar arquivos de diretórios na interface. Usa caracteres especiais, o asterisco, as chaves, colchetes, interrogação para ajudar o usuário a selecionar os arquivos e diretórios que desejar.
CURINGAS PARA NOME DE ARQUIVO É DIFERENTE DE METACARACTERE.
1) Curinga Casa com... Exemplo
2) * Qualquer coisa *.txt
3) ? Um caractere qualquer arquivo-??.zip
4) [...] Qualquer um dos caracteres listados [Aa]rquivo.txt
5) [^...] Qualquer um caractere, exceto os listados [^A-Z]*.txt
6) {...} Qualquer um dos textos separados por vírgula arquivo.{txt,html}
.
CONTINUANDO...
.
SE EU QUISER SUBSTITUIR:
https://com.semanickzaine.wordpress/
POR:
https://semanickz.wordpress.com/
.
USO ESTE EXEMPLO:
sed 's,texto-a-ser-substituido,texto-novo,'
.
EXECUTO NO TERMINAL:
1) echo 'O endereço deste blog é https://com.semanickzaine.wordpress/'
2) echo 'O endereço deste blog é https://com.semanickzaine.wordpress/' | sed 's,https://com.semanickzaine.wordpress/,https://semanickz.wordpress.com/,'
3) echo ; echo 'O endereço deste blog é https://com.semanickzaine.wordpress/' | sed 's,https://com.semanickzaine.wordpress/,https://semanickz.wordpress.com/,' ; echo
.
RESULTADO:
~$ echo 'O endereço deste blog é https://com.semanickzaine.wordpress/' | sed 's,https://com.semanickzaine.wordpress/,https://semanickz.wordpress.com/,'
O endereço deste blog é https://semanickz.wordpress.com/
.
EXPRESSÃO CASADA NA EXPRESSÃO REGULAR PARA SUBSTITUIÇÃO SEM ENROLAÇÃO:
.
EXECUTO:
.
1) echo ; echo -e "O arquivo /proc/cpuinfo possui informações importantes! \nEste tutorial está em /home/user-whoami/Downloads. Há outros nesse diretório" ; echo
2) echo ; echo -e "O arquivo /proc/cpuinfo possui informações importantes! \nEste tutorial está em /home/user-whoami/Downloads. Há outros nesse diretório" | sed -r 's/(\/[^ .,]*)+/"&"/' ; echo
.
OBS:
1) O pipe | liga um comando a outro.
2) Aí vem o sed.
3) A opção “-r” usa o padrão estendido de expressões regulares - o mesmo usado por “egrep”. Isso possibilita o uso da lista negada.
4) inicia aspa simples '
5) s/ Significa substitua
6) A expressão regular fica entre parênteses ()
7) Escapo caracteres usando barra invertida: \
.
8) Esta é a expressão regular entre parênteses e com caractere de escape: (\/[^ .,]*)
OBS:
META CARACTERES
1) ^ (circunflexo): representa o começo da linha
2) $ (cifrão): representa o fim da linha
3) . (ponto): casa com um caractere qualquer
4) .* (curinga): casa qualquer coisa, é tudo ou nada
5) a+ (mais): casa a letra "a" uma ou mais vezes
6) a* (asterisco): casa a letra "a" zero ou mais vezes
7) a? (opcional): casa a letra "a" zero ou mais vezes
8) a{2} (chaves): casa a letra "a" duas vezes
9) a{2,} (chaves): casa a letra "a" no mínimo duas vezes
10) [abc] (lista): casa as letras "a" ou "b" ou "c"
11) [^abc] (lista): casa qualquer caractere, exceto "a", "b", e "c"
12) (isso|aquilo) (Ou): casa as strings "isso" ou "aquilo"
.
9) Uso o caractere & entre aspas duplas para me referir à expressão casada pela expressão regular que se refere a /.
.
SUBSTITUIR PARTES DE UM TEXTO E MANTER OUTRAS
.
Usar “retrovisores”, que inserem na string final os padrões casados na Expressão Regular inseridos em grupos (( e )).
O primeiro grupo casado é referenciado por \1, o segundo, por \2 e assim sucessivamente, até \9.
Por exemplo, vou manter apenas a primeira palavra de cada linha de um texto.
.
Uso este exemplo:
sed 's,texto-a-ser-substituido,texto-novo,'
.
Executo:
.
1) echo -e "Primeira palavra\nSegunda palavra\nTerceira palavra"
2) echo -e "Primeira palavra\nSegunda palavra\nTerceira palavra" | sed -r 's,^([a-zA-Z]+).*,\1,g'
.
OBS:
METACARACTERES
1) ^ (circunflexo): representa o começo da linha
2) $ (cifrão): representa o fim da linha
3) . (ponto): casa com um caractere qualquer
4) .* (curinga): casa qualquer coisa, é tudo ou nada
5) a+ (mais): casa a letra "a" uma ou mais vezes
6) a* (asterisco): casa a letra "a" zero ou mais vezes
7) a? (opcional): casa a letra "a" zero ou mais vezes
8) a{2} (chaves): casa a letra "a" duas vezes
9) a{2,} (chaves): casa a letra "a" no mínimo duas vezes
10) [abc] (lista): casa as letras "a" ou "b" ou "c"
11) [^abc] (lista): casa qualquer caractere, exceto "a", "b", e "c"
12) (isso|aquilo) (Ou): casa as strings "isso" ou "aquilo"
.
Executo:
echo -e "Primeira palavra\nSegunda palavra\nTerceira palavra" | sed -r 's/^([a-zA-Z]+).*/\1/g'
.
OBS:
No final do comando o modificador "g" trata a linha inteira
.
Executo:
echo "palavras1 palavras2 palavras3" | sed -r 's/([a-zA-Z0-9]+)/NULL/g'
.
Remover todas as palavras substituir por NULL. Executo:
echo "palavras1 palavras2 palavras3" | sed -r 's/([a-zA-Z0-9]+)/NULL/g'
.
Remover todas as palavras menos a primeira e substituir por NULL. Executo:
echo "palavras1 palavras2 palavras3" | sed -r 's/([a-zA-Z0-9]+)/NULL/2g'
OBS:
O “2” faz com que a substituição ocorra apenas a partir da segunda ocorrência do padrão.
.
Por padrão, o SED imprime na saída padrão todas as linhas lidas - e modificadas. A opção -n impede que o sed faça a impressão das linhas. É nessa situação que o modificador “p” é útil. Quando quiser imprimir somente as linhas alteradas pelo SED.
.
Executo:
echo -e "linha sem número \nLinha com números: 1 2 3 4 5 6 7 \nLinha com mais números 52 91" | sed -r -n 's/[0-9]+/X/gp'
.
Exemplos:
.
Supressão da 3a linha:
sed '3d' meu_arquivo.txt
.
Supressão da última linha:
sed '$d' meu_arquivo.txt
.
Supressão de todas as linhas vazias:
sed '/^$/d' meu_arquivo.txt sed '/./!d' meu_arquivo.txt
.
Supressão do intervalo compreendido entre as linhas 7 e 9:
sed '7,9d' meu_arquivo.txt
.
REVISO META CARACTERES
-------------
1) . Ponto Curinga de um caractere
-------------
2) [] Lista Casa qualquer um dos caracteres listados
-------------
3) [^] Lista negada Casa qualquer caractere, exceto os listados
-------------
4) ? Opcional O item anterior pode aparecer ou não (opcional)
-------------
5) * Asterisco O item anterior pode aparecer em qualquer quantidade
-------------
6) + Mais O item anterior deve aparecer no mínimo uma vez
-------------
7) {,} Chaves O item anterior deve aparecer na quantidade indicada {mín,máx}
-------------
8) ^ Circunflexo Casa o começo da linha
-------------
9) $ Cifrão Casa o fim da linha
-------------
10) \b Borda Limita uma palavra (letras, números e sublinhado)
-------------
11) \ Escape Escapa um meta, tirando seu poder
-------------
12) | Ou Indica alternativas (usar com o grupo)
-------------
13) () Grupo Agrupa partes da expressão, é quantificável e multinível
-------------
14) \1 Retrovisor Recupera o conteúdo do grupo 1
-------------
15) \2 Retrovisor Recupera o conteúdo do grupo 2 (segue até o \9)
-------------
16) .* Curinga Casa qualquer coisa, é o tudo e o nada
-------------
17) ?? Opcional NG Idem ao opcional comum, mas casa o mínimo possível
-------------
18) *? Asterisco NG Idem ao asterisco comum, mas casa o mínimo possível
-------------
19) +? Mais NG Idem ao mais comum, mas casa o mínimo possível
-------------
20) {}? Chaves NG Idem às chaves comuns, mas casa o mínimo possível
.
EXPRESSÕES REGULARES E O COMANDO SED
-------------
EXPLICANDO UMA EXPRESSÃO REGULAR:
-------------
'\*\..{3}$'
-------------
Na expressão regular acima, as aspas simples são usadas para proteger a expressão e impedir que o interpretador de comandos dê um significado diferente a qualquer um dos caracteres. O * e o . são um asterisco e um ponto, literalmente, por isso são escapados por uma barra invertida. O . (ponto) significa um caractere qualquer, que é quantificado pelo número entre as chaves que o sucede. No caso, procuro por três caracteres após um asterisco e um ponto, mas isto por si só também abrangeria os casos onde temos extensões com mais de três letras. Para evitar que isto aconteça, dizemos que estes três caracteres são sucedidos por um “fim de linha”, representado pelo cifrão.
-------------
Executo os comandos abaixo:
.
# crio um arquivo para os testes
echo "Eu gosto de água de ar e terra. 1234567890" > teste.txt
cat teste.txt
ls -t
# substituir água por ar e vice-versa
sed -i 's/\(água\) e \(ar\)/\2 e \1/' teste.txt ; cat teste.txt
# substituir vogais 'a' ou 'u' por 'x'
sed -i 's/[ou]/x/g' teste.txt ; cat teste.txt
# substituir numeros pares por 0
sed -i 's/[2468]/0/g' teste.txt ; cat teste.txt
# substituir numeros impares por nada
sed -i 's/[13579]//g' teste.txt ; cat teste.txt
# substituir 3 primeiros caracteres por nada
sed -i 's/^...//g' teste.txt ; cat teste.txt
# substituindo espaços por nada
sed -i 's/\s//g' teste.txt ; cat teste.txt
semanickz 