Manualinux
http://www.nvu.com http://www.gimp.org InicioPresentaciónActualizacionesManualesDescargasNoticiasAgradecimientoEnlaces

Entornos GráficosAplicaciones

DesarrolloEmuladoresInternetJuegosMultimediaSistema

Compiladores Caché - F90cache

Compiladores Caché - Ccache




Compiladores Caché - Ccache




Copyright

Copyright © José Luis Lara Carrascal  2008-2020   http://manualinux.eu



Sumario

Introducción
Instalación
Configuración
Enlaces



 
Introducción

Ccache es un compilador caché que puede llegar a acelerar hasta 10 veces la recompilación (esto implica también una instalación de versiones futuras del programa cacheado, pero con un mayor tiempo de compilación) de cualquier programa cuyo código fuente esté escrito en C, C++, Objetive-C y Objetive-C++. La forma de trabajar de Ccache consiste en detectar si el código que se está compilando es el mismo que se ha compilado anteriormente. Para ello utiliza el algoritmo de resumen (hash) MD4, para obtener la información en función del modo utilizado por Ccache, que pueden ser los siguientes:

1) Modo direct (el predefinido) : Ccache hashea el código fuente e incluye los archivos de forma directa. El hash contiene la información común y:

* Los archivos de código fuente de entrada.
* Las opciones de línea de comandos.

2) Modo preprocessor (más lento) : Ccache ejecuta el preprocesador en el código fuente y hashea el resultado. El hash contiene la información común y:

* La información de salida del preprocesador cuando el compilador se está ejecutando con la opción -E.
* Las opciones de línea de comandos excepto las que afectan a los archivos incluidos (-I, -include, -D, etc.).
* Toda la información de salida estándar de errores (stderr) generada por el preprocesador.

3) Modo depend : Ccache no utiliza nunca el preprocesador funcionando siempre en modo direct. Esto provoca que la tasa de aciertos sea más baja. Este modo no es compatible con la opción run_second_cpp=false (export CCACHE_NOCPP2=true).

Por lo tanto y, que nadie piense lo contrario, en ningún momento Ccache crea una copia exacta de los binarios generados en el proceso de compilación (la caché que necesitaríamos sería enorme) sino lo que hace es almacenar toda la información que el compilador genera en dicho proceso, cuando esta información coincide con la salida del compilador en una futura recompilación, Ccache la sustituye por la que tiene almacenada en la caché, con lo que la generación de los archivos binarios se acelera considerablemente.

En este manual trataremos su instalación desde código fuente y su configuración para que todos los procesos de compilación que llevemos a cabo en nuestro sistema sean cacheados por Ccache.



Instalación

Dependencias

Herramientas de Compilación


Entre paréntesis la versión con la que se ha compilado Ccache para la elaboración de este documento.

* GCC - (9.2.0) o Clang - (9.0.1)
* Make - (4.2.1)
* Automake - (1.16.1)
* Autoconf - (2.69)

Librerías de Desarrollo

* Zlib - (1.2.11)



Descarga

ccache-3.7.7.tar.xz

Optimizaciones

$ export {C,CXX}FLAGS='-O3 -march=amdfam10 -mtune=amdfam10'

Donde pone amdfam10 se indica el procesador respectivo de cada sistema seleccionándolo de la siguiente tabla:
Nota informativa sobre las optimizaciones para GCC
* La opción '-march=' establece el procesador mínimo con el que funcionará el programa compilado, la opción '-mtune=' el procesador específico para el que será optimizado. 

* Los valores separados por comas, son equivalentes, es decir, que lo mismo da poner '-march=k8' que '-march=athlon64'.

* En versiones de GCC 3.2 e inferiores se utiliza la opción '-mcpu=' en lugar de '-mtune='.
Nota informativa sobre las optimizaciones para Clang
* La opción '-mtune=' está soportada a partir de la versión 3.4 de Clang.

* Los valores de color azul no son compatibles con Clang.

* Las filas con el fondo de color amarillo son valores exclusivos de Clang y, por lo tanto, no son aplicables con GCC.
Valores CPU
Genéricos
Intel
AMD
VIA
IDT

Optimizaciones adicionales

Optimizaciones adicionales
GCC
Graphite
$ export {C,CXX}FLAGS+=' -floop-interchange -ftree-loop-distribution -floop-strip-mine -floop-block'
IPA
$ export {C,CXX}FLAGS+=' -fipa-pta'
LTO
$ export {C,CXX}FLAGS+=' -fuse-linker-plugin -flto=2'
Donde pone 2 se indica el número de núcleos de nuestro procesador, si sólo tiene uno, utilizar el parámetro -flto
Clang
New Pass Manager
$ export {C,CXX}FLAGS+=' -fexperimental-new-pass-manager'
Polly
$ export {C,CXX}FLAGS+=' -O3 -mllvm -polly -mllvm -polly-vectorizer=stripmine'
LTO
$ export {C,CXX,LD}FLAGS+=' -flto'
ThinLTO
$ export {C,CXX,LD}FLAGS+=' -flto=thin'
La aplicación de esta optimización es alternativa a la tradicional LTO, a partir de Clang 3.9 y, por lo tanto, no es combinable con la misma.

Parámetros adicionales

Parámetros adicionales de eliminación de avisos en el proceso de compilación
$ export {C,CXX}FLAGS+=' -w'

Establecer la ruta de búsqueda de directorios de librerías en sistemas de 64 bits multiarquitectura
$ export LDFLAGS+=" -L/usr/lib64 -L/usr/local/lib64"

Establecer el uso de enlazador dinámico para LLD
$ export LDFLAGS+=' -fuse-ld=lld'
Optimizaciones complementarias LTO/ThinLTO de LLD
$ export LDFLAGS+=' -Wl,-lto-new-pass-manager -Wl,-lto-aa-pipeline=globals-aa -Wl,-lto-newpm-passes=memcpyopt'
Optimizaciones complementarias LTO de LLD
$ export LDFLAGS+=' -Wl,--lto-partitions=2'
Optimizaciones complementarias ThinLTO de LLD
$ export LDFLAGS+=' -Wl,--thinlto-jobs=2'
Donde pone 2 se indica el número de núcleos de nuestro procesador, si sólo tiene uno, no es necesario añadir el parámetro en cuestión.

Eliminar los símbolos innecesarios para la ejecución del programa
$ export LDFLAGS+=" -Wl,-s"

Establecer la variable de entorno de uso de compilador para Clang
$ export CC=clang CXX=clang++

Extracción y Configuración  Bloc de Notas Información general sobre el uso de los comandos

$ tar Jxvf ccache-3.7.7.tar.xz
$ cd ccache-3.7.7
$ ./configure --prefix=/usr --mandir=/usr/share/man --sysconfdir=/etc

Explicación de los comandos

--prefix=/usr : Instala Ccache en el directorio principal /usr.
--mandir=/usr/share/man : Instala la página de manual del programa en /usr/share/man, en lugar de /usr/man.

--sysconfdir=/etc
: Establecemos el directorio /etc en lugar de /usr/etc, como directorio de ubicación secundaria del archivo de configuración, ccache.conf. El directorio de ubicación primaria es siempre el directorio de ubicación de la caché.

Compilación

$ make

Parámetros de compilación opcionales

-j2 : Si tenemos un procesador de doble núcleo (dual-core), y el kernel está optimizado para el mismo y es SMP, con este parámetro aumentaremos el número de procesos de compilación simultáneos a un nivel de 2 y aceleraremos el tiempo de compilación del programa de forma considerable.
-j4 : Lo mismo que arriba pero con procesadores de 4 núcleos (quad-core).

Instalación como root

$ su
# make install
# for i in gcc g++ cc c++ ; do \
ln -s /usr/bin/ccache /bin/$i ; \
done

Con la creación de los enlaces simbólicos lo que hacemos es que Ccache gestione todas las compilaciones que vayamos a realizar en nuestro sistema, utilizamos el directorio /bin, porque éste siempre aparece por delante del directorio /usr/bin en la configuración del PATH en los sistemas GNU/Linux, directorio éste último, que es el habitual de ubicación de los ejecutables de la versión de GCC que tengamos en nuestro sistema.

Para comprobar que estamos utilizando estos enlaces simbólicos, nada mejor que utilizar el programa which, que se encarga de buscar el binario que le indiquemos previamente. Por último recordar que la ejecución de Ccache es completamente transparente en los procesos de compilación, es decir, no vamos a notar que se está ejecutando cuando compilemos un programa, la única manera de saberlo es comprobar con cualquier administrador de archivos que el directorio de la caché, tiene actividad.

[jose@localhost ~]$ which gcc
/bin/gcc

En muchas distribuciones, el directorio /bin es un simple enlace simbólico al directorio /usr/bin. En este caso, el ejemplo anterior no nos serviría y tendríamos que utilizar un directorio específico que colocaríamos siempre por delante del directorio que contenga los ejecutables o enlaces simbólicos utilizados por el compilador de turno. Lo más fácil sería utilizar /usr/local/bin y crearnos un alias de Bash para poder activarlo cuando lo consideremos oportuno. Un ejemplo que podemos añadir a ~/.bashrc:

alias ccache_on="export PATH=/usr/local/bin:$PATH"

Cada vez que escribamos en la consola el comando ccache_on, el directorio de ubicación de los enlaces simbólicos a Ccache quedará por delante del resto de directorios configurados en el PATH.

Otra solución es utilizar directamente Ccache sin enlaces simbólicos alguno, estableciendo las correspondientes variables de entorno de uso de compilador, antes de configurar un determinado paquete.

GCC
$ export CC="ccache gcc" CXX="ccache g++"

Clang
$ export CC="ccache clang" CXX="ccache clang++"

Estadísticas de Compilación e Instalación de Ccache

Estadísticas de Compilación e Instalación de Ccache
CPU AMD Phenom(tm) II X4 965 Processor
MHz 3415.533
RAM 4096 MB
Sistema de archivos XFS
Versión del Kernel 5.4.8-ck1 SMP PREEMPT x86_64
Modo de frecuencia de la CPU ondemand
Versión de Glibc 2.30
Enlazador dinámico LLD 9.0.1
Compilador Clang 9.0.1
Parámetros de optimización -03 -march=amdfam10 -mtune=amdfam10 -fexperimental-new-pass-manager -mllvm -polly -mllvm -polly-vectorizer=stripmine -flto=thin -Wl,-lto-new-pass-manager -Wl,-lto-aa-pipeline=globals-aa -Wl,-lto-newpm-passes=memcpyopt
Parámetros de compilación -j4
Tiempo de compilación 3"
Archivos instalados 2
Mostrar/Ocultar la lista de archivos instalados
Enlaces simbólicos creados 4
Mostrar/Ocultar la lista de enlaces simbólicos creados
Ocupación de espacio en disco 220 KB

Desinstalación como root

1) MODO TRADICIONAL

Este programa no tiene soporte para desinstalación con el comando 'make uninstall'

2) MODO MANUALINUX

El principal inconveniente del comando anterior es que tenemos que tener el directorio de compilación en nuestro sistema para poder desinstalar el programa. En algunos casos esto supone muchos megas de espacio en disco. Con el paquete de scripts que pongo a continuación logramos evitar el único inconveniente que tiene la compilación de programas, y es el tema de la desinstalación de los mismos sin la necesidad de tener obligatoriamente una copia de las fuentes compiladas.

ccache-3.7.7-scripts.tar.gz

$ su
# tar zxvf ccache-3.7.7-scripts.tar.gz
# cd ccache-3.7.7-scripts
# ./Desinstalar_ccache-3.7.7

Copia de Seguridad como root

Con este otro script creamos una copia de seguridad de los binarios compilados, recreando la estructura de directorios de los mismos en un directorio de copias de seguridad (copibin) que se crea en el directorio /var. Cuando se haya creado el paquete comprimido de los binarios podemos copiarlo como usuario a nuestro home y borrar el que ha creado el script de respaldo, teniendo en cuenta que si queremos volver a restaurar la copia, tendremos que volver a copiarlo al lugar donde se ha creado.

$ su
# tar zxvf ccache-3.7.7-scripts.tar.gz
# cd ccache-3.7.7-scripts
# ./Respaldar_ccache-3.7.7

Restaurar la Copia de Seguridad como root

Y con este otro script (que se copia de forma automática cuando creamos la copia de respaldo del programa) restauramos la copia de seguridad como root cuando resulte necesario.

$ su
# cd /var/copibin/restaurar_copias
# ./Restaurar_ccache-3.7.7



Configuración de Ccache  

1) El directorio por defecto de ubicación de la caché  
2) Establecer un directorio único de caché para todos los usuarios
3) Limpiar la caché
4) Estadísticas de uso
5) Uso de otras versiones de GCC con Ccache
6) Uso de Clang
7) Desactivar el uso de Ccache
8) Volver a almacenar una compilación determinada
9) Hacer que Ccache almacene las cabeceras precompiladas (PCH)
10) Cambiar la ubicación de los archivos temporales de Ccache en sistemas con Tmpfs montado en /tmp
11) Acelerar ligeramente el uso de Ccache modificando el funcionamiento del preprocesador
12) Activar la compresión de la caché de Ccache
13) Mostrar las opciones en curso de Ccache



1) El directorio por defecto de ubicación de la caché  

~/.ccache

Tanto en nuestro directorio personal, como en el directorio del root, el tamaño máximo definido por defecto de la caché es de 5 GB, tamaño que podemos modificar desde la línea de comandos, con el siguiente comando, un ejemplo estableciéndola en 500 MB.

[jose@localhost ~]$ ccache -M 500M
Set cache size limit to 512000k

También podemos utilizar G (para GB) y K (para KB), otro ejemplo, esta vez la pongo en 2 GB.

[jose@localhost ~]$ ccache -M 2G
Set cache size limit to 2097152k

2) Establecer un directorio único de caché para todos los usuarios  

La única condición que debe de tener este directorio es que sea accesible para lectura y escritura por todos los usuarios. La ventaja mayor es que nos ahorramos una duplicación de directorios, el del root y el nuestro propio. Lo primero que debemos de hacer es crear el directorio con los permisos correspondiente de acceso y escritura.

$ su -c "install -dm777 /.ccache"

Luego, movemos como usuario, el contenido de la caché ubicada en nuestro directorio personal, al nuevo directorio.

$ mv ~/.ccache/* /.ccache

La que tengamos en el directorio del root, que siempre será de menor tamaño, simplemente la borramos.

$ su -c "ccache -C"

Posteriormente, abrimos un editor de texto y añadimos lo siguiente:

#!/bin/sh

export CCACHE_DIR=/.ccache
export CCACHE_UMASK=000

Lo guardamos con el nombre ccache.sh, y lo instalamos en /etc/profile.d.

$ su -c "install -m755 ccache.sh /etc/profile.d"

Tenemos que cerrar el emulador de terminal y volverlo a abrir para que la variable de entorno aplicada sea efectiva. La ventaja de utilizar el directorio /etc/profile.d es que es común a todas las distribuciones y nos evita tener que editar otros archivos del sistema como por ejemplo, /etc/profile.

Mi recomendación personal es utilizar un directorio en otro disco duro y, a ser posible, en una partición XFS, dado el mínimo nivel de fragmentación que posee este sistema de archivos. Un tamaño de 15 o 20 GB no es nada descabellado, si tenemos pensado utilizar Ccache por defecto para compilar todos los paquetes de código fuente.

3) Limpiar la caché  

 Para ajustar el tamaño de la caché al máximo establecido en su configuración, ejecutamos el siguiente comando, aunque esto no es necesario hacerlo ya que el programa lo hace de forma automática.

$ ccache -c

Para borrarla por completo, el siguiente:

$ ccache -C

4) Estadísticas de uso

Como cualquier aplicación caché que se precie, Ccache también nos muestra estadísticas de uso, con el siguiente comando:

$ ccache -s

Y yo en estos momentos las tengo así:

[jose@localhost ~]$ ccache -s
cache directory                     /mnt/cache/.ccache
primary config                      /mnt/cache/.ccache/ccache.conf
secondary config      (readonly)    /etc/ccache.conf
stats updated                       Wed Jan 22 13:15:05 2020
stats zeroed                        Thu Apr 25 16:20:07 2019
cache hit (direct)                 82766
cache hit (preprocessed)          114285
cache miss                        377612
cache hit rate                     34.29 %
called for link                    98942
called for preprocessing           35099
multiple source files                 32
compiler produced stdout              28
compiler produced empty output        65
compile failed                      8558
ccache internal error                 93
preprocessor error                  7225
bad compiler arguments              1362
unsupported source language           27
autoconf compile/link              24869
unsupported compiler option         1012
unsupported code directive           282
output to stdout                      18
no input file                      24688
cleanups performed                   151
files in cache                    190159
cache size                           3.8 GB
max cache size                      30.0 GB


Lo único que nos debe de interesar de todo esto, son los dos últimos datos, cache size, que nos indica el espacio que está ocupando en estos momentos, y max cache size, que nos indica el tamaño máximo que tenemos configurado. Para poner a cero las estadísticas, ejecutamos el siguiente comando:

$ ccache -z

5) Uso de otras versiones de GCC con Ccache

Además de leernos el correspondiente manual acerca de la instalación de otras versiones de GCC en nuestro sistema, la forma de hacer funcionar Ccache con otras versiones de GCC es muy simple, ejecutando la correspodiente variable de entorno, un ejemplo:

$ export CCACHE_COMPILER=gcc34

Ahora ejecutamos gcc --version y comprobamos que nos sale la versión que le hemos pasado mediante la variable de entorno anteriormente ejecutada.

[jose@localhost ~]$ gcc --version
gcc34 (GCC) 3.4.6
Copyright (C) 2006 Free Software Foundation, Inc.
Esto es software libre; vea el código para las condiciones de copia.  NO hay
garantía; ni siquiera para MERCANTIBILIDAD o IDONEIDAD PARA UN PROPÓSITO EN
PARTICULAR

Tener en cuenta que el nombre del ejecutable del compilador (en este caso gcc34) no aparecerá nunca en los mensajes que se muestren en el proceso de compilación, ya que estamos utilizando como puente a Ccache y los pertinentes enlaces simbólicos que hemos creado.

6) Uso de Clang  

Para utilizar Ccache con Clangsimplemente tiene que establecer la variable de entorno correspondiente:

$ export CCACHE_COMPILER=clang

Aunque es bastante más recomendable utilizar la siguiente, para que aparezca el nombre del compilador en el proceso de compilación, y no nos confunda en determinadas compilaciones cuyos parámetros de compilación de GCC y Clang son los mismos. 

$ export CC="ccache clang" CXX="ccache clang++"

7) Desactivar el uso de Ccache

Esto es útil si por ejemplo, queremos saber el tiempo real de compilación de un paquete determinado. Con la siguiente variable de entorno, Ccache actuará como un simple intermediario sin almacenar dato alguno del proceso de compilación en curso.

$ export CCACHE_DISABLE=true

8) Volver a almacenar una compilación determinada  

La siguiente variable de entorno es similar a la anterior, en lo que respecta al tiempo real de compilación. La diferencia radica en que en este caso, sí se almacenan los datos del proceso de compilación en curso, empezando desde cero, y sobreescribiendo los que hubiera en la caché relativos al paquete en cuestión.

$ export CCACHE_RECACHE=true

9) Hacer que Ccache almacene las cabeceras precompiladas (PCH)  

Cuando utilizamos Ccache por primera vez, comprobaremos en las estadísticas del mismo que aparece una sección denominada can't use precompiled header que se va llenando a medida que vamos compilando paquetes. Para evitar esto y hacer que este tipo de cabecera que se genera en algunos procesos de compilación sea también almacenada por Ccache, ejecutamos el siguiente comando de modificación de la configuración de Ccache en la ventana de terminal:

$ ccache -o sloppiness=time_macros,pch_defines

Que tendremos que combinar con un parámetro de compilación que le pasaremos a cualquiera de los dos compiladores que usemos, GCC o Clang:

$ export {C,CXX}FLAGS+=' -fpch-preprocess'

Reseñar también que el almacenamiento de las cabeceras precompiladas hace que la caché se llene mucho antes, dado el tamaño de algunos de estos archivos.

10) Cambiar la ubicación de los archivos temporales de Ccache en sistemas con Tmpfs montado en /tmp  

En sistemas que utilicen el sistema de archivos, Tmpfs para ubicar los archivos temporales en /tmp, es recomendable que los archivos temporales creados por Ccache se almacenen en este directorio, y no, en el directorio de ubicación de la caché. La escritura de los archivos temporales en la memoria física del sistema siempre será más rápida que la escritura en un disco duro, por muy rápido que sea éste.

Para modificar esto, editamos el archivo que hemos creado anteriormente, ccache.sh y añadimos lo siguiente, lo que está en rojo:

#!/bin/sh

export CCACHE_DIR=/.ccache
export CCACHE_UMASK=000
export CCACHE_TEMPDIR=/tmp

11) Acelerar ligeramente el uso de Ccache modificando el funcionamiento del preprocesador  

El uso de esta opción hace que Ccache ejecute en primer lugar el preprocesador, para posteriormente ejecutar el compilador sobre el código fuente preprocesado, no sobre el original. En teoría esto hace la compilación más rápida, al preprocesar el código fuente sólo una vez, pero en la práctica se producen errores de compilación en paquetes como xorg-server, mpd, etc., al tener que pasarle al compilador un determinado parámetro, que es el que suele producir el error:

GCC
$ export {C,CXX}FLAGS+=' -fdirectives-only'

Clang
$ export {C,CXX}FLAGS+=' -frewrite-includes'

Si queremos hacer uso de esta opción, basta con ejecutar la siguiente variable de entorno antes de compilar un paquete:

$ export CCACHE_NOCPP2=true

Y añadir los parámetros de compilación descritos en función del compilador que utilicemos, que yo, personalmente tengo configurados como un alias de bash.

alias ccache-nocpp2="export CCACHE_NOCPP2=true; export {C,CXX}FLAGS+=' -fdirectives-only'"
alias ccache-clang-nocpp2="export CCACHE_NOCPP2=true; export {C,CXX}FLAGS+=' -frewrite-includes'"

12) Activar la compresión de la caché de Ccache

Si tenemos un procesador relativamente potente, la activación de la compresión de la caché de Ccache es más que recomendable. La penalización en el tiempo de compilación es muy ligera y el ahorro de espacio en el disco es bastante considerable. Para activarla, editamos el archivo que hemos creado anteriormente, ccache.sh y añadimos lo siguiente, lo que está en rojo:

#!/bin/sh

export CCACHE_DIR=/.ccache
export CCACHE_UMASK=000
export CCACHE_COMPRESS=true

Se puede modificar también el nivel de compresión (export CCACHE_COMPRESSLEVEL=1 a 9), pero no es nada recomendable aumentarlo. El que utiliza por defecto es el predefinido de gzip que es el 6.

13) Mostrar las opciones en curso de Ccache

En cualquier momento, ejecutando el siguiente comando, podemos saber las opciones de Ccache que se están utilizando. Las opciones establecidas mediante variable de entorno, podemos hacerlas fijas, editando el archivo ccache.conf que se encuentra en la raíz del directorio de ubicación que hayamos establecido para Ccache. Un ejemplo:

[jose@localhost ~]$ ccache -p
(default) base_dir =
(environment) cache_dir = /mnt/cache/.ccache
(default) cache_dir_levels = 2
(default) compiler =
(default) compiler_check = mtime
(environment) compression = true
(default) compression_level = 6
(default) cpp_extension =
(default) debug = false
(default) depend_mode = false
(default) direct_mode = true
(default) disable = false
(default) extra_files_to_hash =
(default) hard_link = false
(default) hash_dir = true
(default) ignore_headers_in_manifest =
(default) keep_comments_cpp = false
(default) limit_multiple = 0.8
(default) log_file =
(default) max_files = 0
(/mnt/cache/.ccache/ccache.conf) max_size = 30.0G
(default) path =
(default) pch_external_checksum = false
(default) prefix_command =
(default) prefix_command_cpp =
(default) read_only = false
(default) read_only_direct = false
(default) recache = false
(default) run_second_cpp = true
(/mnt/cache/.ccache/ccache.conf) sloppiness = time_macros, pch_defines
(default) stats = true
(environment) temporary_dir = /tmp
(/mnt/cache/.ccache/ccache.conf) umask = 000



Enlaces


http://ccache.dev >> La web de Ccache.


Foro Galería Blog


Actualizado el 22-01-2020

Compiladores Caché - Ccache

Compiladores Caché - F90cache