Manualinux
http://www.nvu.com http://www.gimp.org InicioPresentaciónActualizacionesManualesDescargasNoticiasAgradecimientoEnlaces

Entornos GráficosAplicaciones

DesarrolloEmuladoresInternetJuegosMultimediaSistema

Utilidades - TreeSize for UnixUtilidades - vRenamer

Utilidades - UPX




Utilidades - UPX




Copyright

Copyright © José Luis Lara Carrascal  2014-2018   http://manualinux.eu



Sumario

Introducción
Preliminares
UCL
UPX
Iniciamos UPX
Enlaces



 
Introducción  

UPX
es una utilidad de compresión de ejecutables, mediante la cual, podremos reducir el tamaño de aquellos ejecutables que ocupan un espacio considerable en nuestro disco duro, y no hacemos un uso intensivo de los mismos. Soporta binarios ejecutables de 32 y 64 bits, scripts de shell e imágenes del kernel de 32 y 64 bits, en formato bvmlinuz, vmlinux y vmlinuz. En el manual se incluye también la instalación de su principal dependencia, la librería de compresión de datos sin pérdidas, UCL.

A partir de la publicación de este manual, esta utilidad será incluida de forma opcional, en aquellos manuales cuyo uso pueda resultar necesario, dado el tamaño de los ejecutables instalados. El usuario tendrá que comprobar en su sistema, las ventajas y las desventajas de su uso. 



Preliminares  

1) Comprobar que la ruta de instalación de los binarios del programa la tenemos en nuestro PATH


Abrimos una ventana de terminal y ejecutamos el siguiente comando:

[jose@Fedora-18 ~]$ echo $PATH
/usr/lib/qt-3.3/bin:/usr/local/bin:/usr/bin:/bin:/usr/local/sbin:/usr/sbin:/sbin:/home/jose/bin

Si no aparece entre las rutas mostradas el directorio /usr/local/bin, abrimos un editor de texto y añadimos lo siguiente:

#!/bin/sh

export PATH=/usr/local/bin:$PATH

Lo guardamos con el nombre variables.sh, y lo instalamos en /etc/profile.d.

$ su -c "install -m755 variables.sh /etc/profile.d"

Tenemos que cerrar el emulador de terminal y volverlo a abrir para que la variable de entorno aplicada sea efectiva. Es conveniente guardar una copia de este script para posteriores instalaciones de nuestro sistema, teniendo en cuenta que es el que se va a utilizar a partir de ahora en todos los manuales de esta web, para establecer variables de entorno globales, excepto en aquellas que sólo afectan al usuario, en las que se utilizará el archivo de configuración personal, ~/.bashrc.

La ventaja de utilizar el directorio /etc/profile.d es que es común a todas las distribuciones y nos evita tener que editar otros archivos del sistema como por ejemplo, /etc/profile.

2) Comprobar que el directorio /usr/local/lib64 está incluido en /etc/ld.so.conf

En este apartado, no todas las distribuciones incluyen los directorios de las librerías compartidas a cachear por ldconfig en el archivo de configuración, /etc/ld.so.conf, también utilizan el directorio /etc/ld.so.conf.d, por lo que su edición sólo será necesaria en el caso de que el comando ldconfig no cachee las librerías compartidas ubicadas en /usr/local/lib64, en ese caso, abrimos con un editor de texto, el archivo de configuración /etc/ld.so.conf y añadimos la ruta correspondiente. Un ejemplo:

/usr/X11R6/lib/Xaw3d
/usr/X11R6/lib
/usr/lib/Xaw3d
/usr/i386-suse-linux/lib
/usr/local/lib64
/opt/kde3/lib
include /etc/ld.so.conf.d/*.conf

3) Desinstalar versiones anteriores del programa ubicadas en el directorio /usr

Aún en el caso de que la versión a compilar la vayamos a instalar en el mismo directorio que la que proporciona la distribución, siempre se debe desinstalar previamente la versión antigua, para evitar conflictos innecesarios.



UCL

Librería de compresión de datos sin pérdidas, y principal dependencia de UPX.

Instalación

Dependencias

Herramientas de Compilación


Entre paréntesis la versión con la que se ha compilado UCL para la elaboración de este documento.

* GCC - (8.1.0) o Clang - (6.0.0)
* Gawk - (4.2.1)
* M4 - (1.4.18)
* Libtool - (2.4.6)
* Make - (4.2.1)
* Automake - (1.16.1)
* Autoconf - (2.69)



Descarga

ucl-1.03.tar.gz

Optimizaciones

$ export {C,CXX}FLAGS='-O3 -march=amdfam10 -mtune=amdfam10'

Donde pone amdfam10 se indica el procesador respectivo de cada sistema seleccionándolo de la siguiente tabla:
Nota informativa sobre las optimizaciones para GCC
* La opción '-march=' establece el procesador mínimo con el que funcionará el programa compilado, la opción '-mtune=' el procesador específico para el que será optimizado. 

* Los valores separados por comas, son equivalentes, es decir, que lo mismo da poner '-march=k8' que '-march=athlon64'.

* En versiones de GCC 3.2 e inferiores se utiliza la opción '-mcpu=' en lugar de '-mtune='.
Nota informativa sobre las optimizaciones para Clang
* La opción '-mtune=' está soportada a partir de la versión 3.4 de Clang.

* Los valores de color azul no son compatibles con Clang.

* Las filas con el fondo de color amarillo son valores exclusivos de Clang, y por lo tanto, no son aplicables con GCC.
Valores CPU
Genéricos
Intel
AMD
VIA
IDT

Optimizaciones adicionales

Optimizaciones adicionales
GCC
Graphite
$ export {C,CXX}FLAGS+=' -floop-interchange -ftree-loop-distribution -floop-strip-mine -floop-block'
LTO
$ export {C,CXX}FLAGS+=' -fuse-linker-plugin -flto=2'
Donde pone 2 se indica el número de núcleos de nuestro procesador, si sólo tiene uno, utilizar el parámetro -flto

Clang
Polly
$ export {C,CXX}FLAGS+=' -O3 -mllvm -polly -mllvm -polly-vectorizer=stripmine'
LTO
$ export CC+=' -flto'
Aplicar este parámetro después de haber establecido la variable de entorno de uso de compilador para Clang.
ThinLTO
$ export CC+=' -flto=thin'
Aplicar este parámetro después de haber establecido la variable de entorno de uso de compilador para Clang. La aplicación de esta optimización es alternativa a la tradicional LTO, a partir de Clang 3.9, y por lo tanto, no es combinable con la misma.

Parámetros adicionales

Parámetros adicionales de eliminación de avisos específicos en el proceso de compilación
Clang
$ export {C,CXX}FLAGS+=' -Qunused-arguments'

Establecer la ruta de búsqueda de directorios de librerías en sistemas de 64 bits multiarquitectura
$ export LDFLAGS+=" -L/usr/lib64 -L/usr/local/lib64"

Establecer la variable de entorno de uso de compilador para Clang
$ export {CC,CXX}=clang

Extracción y Configuración  Bloc de Notas Información general sobre el uso de los comandos

$ tar zxvf ucl-1.03.tar.gz
$ cd ucl-1.03
$ ./configure --disable-dependency-tracking --enable-shared \
--disable-static --libdir=/usr/local/lib64

Explicación de los comandos

--disable-dependency-tracking : Acelera el tiempo de compilación.
--enable-shared : Activa la compilación de las librerías compartidas.
--disable-static : Desactiva la compilación de las librerías estáticas, al no ser necesarias para la ejecución de UPX.

--libdir=/usr/local/lib64
: Instala la librería en /usr/local/lib64, en sistemas de 64 bits multiarquitectura.

Compilación

$ make

Parámetros de compilación opcionales  

-j2 : Si tenemos un procesador de doble núcleo (dual-core), y el kernel está optimizado para el mismo y es SMP, con este parámetro aumentaremos el número de procesos de compilación simultáneos a un nivel de 2 y aceleraremos el tiempo de compilación del programa de forma considerable.
-j4 : Lo mismo que arriba pero con procesadores de 4 núcleos (quad-core).

Instalación como root

$ su
# make install-strip
# ldconfig -v

Estadísticas de Compilación e Instalación de UCL

Estadísticas de Compilación e Instalación de UCL
CPU AMD Phenom(tm) II X4 965 Processor
MHz 3415.709
RAM 4096 MB
Sistema de archivos XFS
Versión del Kernel 4.16.16-ck1 SMP PREEMPT x86_64
Modo de frecuencia de la CPU ondemand
Versión de Glibc 2.27
Enlazador dinámico GNU gold (Binutils 2.30) 1.15
Compilador Clang 6.0.0
Parámetros de optimización -03 -march=amdfam10 -mtune=amdfam10 -mllvm -polly -mllvm -polly-vectorizer=stripmine -flto=thin
Parámetros de compilación -j4
Tiempo de compilación 3"
Archivos instalados 5
Mostrar/Ocultar la lista de archivos instalados
Enlaces simbólicos creados 2
Mostrar/Ocultar la lista de enlaces simbólicos creados
Ocupación de espacio en disco 120 KB

Desinstalación como root

1) MODO TRADICIONAL

En el directorio de compilación ejecutamos el siguiente comando:

$ su -c "make uninstall"

2) MODO MANUALINUX

El principal inconveniente del comando anterior es que tenemos que tener el directorio de compilación en nuestro sistema para poder desinstalar el programa. En algunos casos esto supone muchos megas de espacio en disco. Con el paquete de scripts que pongo a continuación logramos evitar el único inconveniente que tiene la compilación de programas, y es el tema de la desinstalación de los mismos sin la necesidad de tener obligatoriamente una copia de las fuentes compiladas.

ucl-1.03-scripts.tar.gz

$ su
# tar zxvf ucl-1.03-scripts.tar.gz
# cd ucl-1.03-scripts
# ./Desinstalar_ucl-1.03

Copia de Seguridad como root

Con este otro script creamos una copia de seguridad de los binarios compilados, recreando la estructura de directorios de los mismos en un directorio de copias de seguridad (copibin) que se crea en el directorio /var. Cuando se haya creado el paquete comprimido de los binarios podemos copiarlo como usuario a nuestro home y borrar el que ha creado el script de respaldo, teniendo en cuenta que si queremos volver a restaurar la copia, tendremos que volver a copiarlo al lugar donde se ha creado.

$ su
# tar zxvf ucl-1.03-scripts.tar.gz
# cd ucl-1.03-scripts
# ./Respaldar_ucl-1.03

Restaurar la Copia de Seguridad como root

Y con este otro script (que se copia de forma automática cuando creamos la copia de respaldo del programa) restauramos la copia de seguridad como root cuando resulte necesario.

$ su
# cd /var/copibin/restaurar_copias
# ./Restaurar_ucl-1.03



UPX

Instalación  

Dependencias

Herramientas de Compilación


Entre paréntesis la versión con la que se ha compilado UPX para la elaboración de este documento.

* GCC - (8.1.0) o Clang - (6.0.0)
* Make - (4.2.1)

Librerías de Desarrollo

* UCL - (1.03)
* Zlib - (1.2.11)

Módulos de Perl

* Podlators - (4.11)
* Pod2html - (5.26.0)



Descarga

upx-3.91-src.tar.bz2

Optimizaciones

Optimizaciones adicionales

Optimizaciones adicionales
GCC
Graphite
$ export {C,CXX}FLAGS+=' -floop-interchange -ftree-loop-distribution -floop-strip-mine -floop-block'
LTO
$ export {C,CXX}FLAGS+=' -fuse-linker-plugin -flto=2'
Donde pone 2 se indica el número de núcleos de nuestro procesador, si sólo tiene uno, utilizar el parámetro -flto

Clang
Polly
$ export {C,CXX}FLAGS+=' -O3 -mllvm -polly -mllvm -polly-vectorizer=stripmine'
LTO
$ export {C,CXX}FLAGS+=' -flto'
ThinLTO
$ export {C,CXX}FLAGS+=' -flto=thin'
La aplicación de esta optimización es alternativa a la tradicional LTO, a partir de Clang 3.9, y por lo tanto, no es combinable con la misma.

Parámetros adicionales

Parámetros adicionales de eliminación de avisos específicos en el proceso de compilación
Clang
$ export {C,CXX}FLAGS+=' -Qunused-arguments'

Establecer la ruta de búsqueda de directorios de librerías en sistemas de 64 bits multiarquitectura
$ export LDFLAGS+=" -L/usr/lib64 -L/usr/local/lib64"

Establecer el RPATH correspondiente si utilizamos una versión de GCC que no es la principal del sistema
$ export LDFLAGS+=" -Wl,-rpath,/opt/gcc8/lib64 -lstdc++"
Sustituir /opt/gcc8/lib64 por la ruta de instalación de la versión de GCC alternativa que se vaya a utilizar en el proceso de compilación de este paquete.

Establecer el uso de enlazador dinámico para LLD
$ export LDFLAGS+=' -fuse-ld=lld'
Optimizaciones complementarias LTO de LLD
$ export LDFLAGS+=' -Wl,--lto-partitions=2'
Optimizaciones complementarias ThinLTO de LLD
$ export LDFLAGS+=' -Wl,--thinlto-jobs=2'
Donde pone 2 se indica el número de núcleos de nuestro procesador, si sólo tiene uno, no es necesario añadir el parámetro en cuestión.

Establecer la variable de entorno de uso de compilador para Clang
$ export {CC,CXX}=clang

Extracción  Bloc de Notas Información general sobre el uso de los comandos

$ tar jxvf upx-3.91-src.tar.bz2
$ cd upx-3.91-src
$ sed -i '41s:^:#:' src/Makefile
$ find . -name 'Makefile' | xargs sed -i 's:-O2::'

Explicación de los comandos

sed -i '41s:^:#:' src/Makefile : Modificamos el archivo src/Makefile para que los avisos no sean tratados como errores y la compilación con GCC 5 y superiores, pueda llevarse a cabo.

find . -name 'Makefile' | xargs sed -i 's:-O2::'
: Borramos las referencias existentes en los archivos Makefile al nivel de optimización utilizado por defecto (-O2) para evitar una duplicidad de niveles de optimización aplicados en el proceso de compilación, y sea este último el aplicado por el compilador.

Compilación

$ make all

Parámetros de compilación opcionales

Instalación como root

$ su
# install -dm755 /usr/local/{bin,share/{doc/upx,man/man1}}
# install -sm755 src/upx.out /usr/local/bin/upx
# install -m644 doc/upx.1 /usr/local/share/man/man1
# install -m644 doc/upx.html /usr/local/share/doc/upx

Estadísticas de Compilación e Instalación de UPX

Estadísticas de Compilación e Instalación de UPX
CPU AMD Phenom(tm) II X4 965 Processor
MHz 3415.709
RAM 4096 MB
Sistema de archivos XFS
Versión del Kernel 4.16.16-ck1 SMP PREEMPT x86_64
Modo de frecuencia de la CPU ondemand
Versión de Glibc 2.27
Enlazador dinámico LLD 6.0.0
Compilador Clang 6.0.0
Parámetros de optimización -03 -march=amdfam10 -mtune=amdfam10 -mllvm -polly -mllvm -polly-vectorizer=stripmine -flto=thin
Parámetros de compilación -j4
Tiempo de compilación 9"
Archivos instalados 3
Mostrar/Ocultar la lista de archivos instalados
Ocupación de espacio en disco 1,6 MB

Desinstalación como root

1) MODO TRADICIONAL

***********************

2) MODO MANUALINUX

upx-3.91-scripts.tar.gz

$ su
# tar zxvf upx-3.91-scripts.tar.gz
# cd upx-3.91-scripts
# ./Desinstalar_upx-3.91

Copia de Seguridad como root

$ su
# tar zxvf upx-3.91-scripts.tar.gz
# cd upx-3.91-scripts
# ./Respaldar_upx-3.91

Restaurar la Copia de Seguridad como root

$ su
# cd /var/copibin/restaurar_copias
# ./Restaurar_upx-3.91



Iniciamos UPX  

Antes de utilizar este programa, tendremos que tener en cuenta una máxima aplicable al mismo: "El espacio que ganemos en el disco al comprimir un ejecutable, lo perderemos en proporciones mayores, en la memoria, a la hora de ejecutarlo comprimido". Ya que UPX utiliza ésta para descomprimir el ejecutable, además de la carga de CPU que supone el proceso de descompresión. Aunque esto último en los ordenadores actuales es absolutamente irrelevante, y el retardo es practicamente inexistente en el proceso de ejecución.

UPX soporta 3 formatos diferentes de ejecutables: Ejecutables en formato ELF (Linux/elf386), scripts de shell (Linux/sh386) y por último, uno genérico que abarca a cualquier archivo ejecutable que tengamos en nuestro sistema (Linux/i386). En el caso del formato Linux/i386, los ejecutables se descomprimen siempre en el directorio temporal /tmp. Pero como bien es sabido, si tenemos montado este directorio con el sistema de archivos tmpfs, significa que estos ejecutables tambíén se descomprimirán en la memoria, en este caso, en la física.

UPX soporta 9 niveles de compresión, siendo el nivel '-8', el predefinido para los archivos menores de 512 KB, y el nivel '-7' para el resto. Si utilizamos el parámetro '--best', UPX utilizará el mejor ratio de compresión posible, requiriendo bastante tiempo de proceso en archivos grandes.

Todos los binarios ejecutables comprimidos con UPX, a efectos del sistema, son tratados como binarios estáticos, lo que impide que por ejemplo, no podamos utilizar el comando ldd, para comprobar las librerías compartidas contra las que está enlazado un determinado binario que hayamos comprimido con este programa.

Ejemplos de uso

1) Comprimir el binario ejecutable de MAME con el nivel predefinido de compresión

[root@localhost /]# upx /usr/bin/mame
                       Ultimate Packer for eXecutables
                          Copyright (C) 1996 - 2013
UPX 3.91        Markus Oberhumer, Laszlo Molnar & John Reiser   Sep 30th 2013

        File size         Ratio      Format      Name
   --------------------   ------   -----------   -----------
  82242536 ->  22943312   27.90%  linux/elf386   mame

Packed 1 file.

Estadísticas
Ejecutable mame
Tamaño original
78,4 MB
Tamaño comprimido
21,9 MB
Ratio de compresión 27.90 %
Tiempo de compresión
14,6 segundos.

2) Comprimir el binario ejecutable de MAME con el mejor nivel de compresión posible

[root@localhost /]# upx --best /usr/bin/mame
                       Ultimate Packer for eXecutables
                          Copyright (C) 1996 - 2013
UPX 3.91        Markus Oberhumer, Laszlo Molnar & John Reiser   Sep 30th 2013

        File size         Ratio      Format      Name
   --------------------   ------   -----------   -----------
  82242536 ->  22547636   27.42%  linux/elf386   mame

Packed 1 file.

Estadísticas
Ejecutable mame
Tamaño original
78,4 MB
Tamaño comprimido
21,5 MB
Ratio de compresión 27.42 %
Tiempo de compresión
19,45 minutos.

Como se puede comprobar, el uso del mejor nivel de compresión, resulta una pérdida de tiempo en este caso particular.

3) Comprobar el estado del archivo comprimido del binario ejecutable de MAME

[root@localhost /]# upx -t /usr/bin/mame
                       Ultimate Packer for eXecutables
                          Copyright (C) 1996 - 2013
UPX 3.91        Markus Oberhumer, Laszlo Molnar & John Reiser   Sep 30th 2013

testing /usr/bin/mame [OK]

Tested 1 file.

4) Obtener información sobre el contenido del archivo comprimido del binario ejecutable de MAME

[root@localhost /]# upx -l /usr/bin/mame
                       Ultimate Packer for eXecutables
                          Copyright (C) 1996 - 2013
UPX 3.91        Markus Oberhumer, Laszlo Molnar & John Reiser   Sep 30th 2013

        File size         Ratio      Format      Name
   --------------------   ------   -----------   -----------
  82242536 ->  22547636   27.42%  netbsd/elf386  /usr/bin/mame

5) Devolver el archivo comprimido del binario ejecutable de MAME a su estado original

[root@localhost /]# upx -d /usr/bin/mame
                       Ultimate Packer for eXecutables
                          Copyright (C) 1996 - 2013
UPX 3.91        Markus Oberhumer, Laszlo Molnar & John Reiser   Sep 30th 2013

        File size         Ratio      Format      Name
   --------------------   ------   -----------   -----------
  82242536 <-  22547636   27.42%  netbsd/elf386  mame

Unpacked 1 file.



Enlaces  


https://upx.github.io >> La web de UPX.

http://www.oberhumer.com/opensource/ucl >> La web de UCL.


Foro Galería Blog


Actualizado el 16-06-2018

Utilidades - UPX

Utilidades - TreeSize for UnixUtilidades - vRenamer