Manualinux
http://www.nvu.com http://www.gimp.org InicioPresentaciónActualizacionesManualesDescargasNoticiasAgradecimientoEnlaces

Entornos GráficosAplicaciones

DesarrolloEmuladoresInternetJuegosMultimediaSistema

Clientes BitTorrent - qBittorrent

Capturadores de Webs - HTTrack




Capturadores de Webs - HTTrack




Copyright

Copyright © José Luis Lara Carrascal  2007-2018   http://manualinux.eu



Sumario

Introducción
Instalación
Iniciamos HTTrack
gHTTrack
Traducción al Español de gHTTrack
Iniciamos gHTTRack
Paquetes binarios de gHTTrack
Enlaces



 
Introducción  


Hace unos años en la revista PC ACTUAL venía una comparativa de programas capturadores de webs, lo sorprendente de los resultados de la misma era que el programa gratuito analizado superaba en prestaciones a los en teoría superiores y por lo tanto de pago. Su nombre era WinHTTrack y era y sigue siendo la versión para Windows de HTTrack, uno de los mejores (para mí el mejor) programas capturadores de webs que existen hoy en día en lo que respecta a este tipo de software. Las diferencias entre la versión Windows y la de GNU/Linux residen, como casi siempre, en la interfaz gráfica, en GNU/Linux usa una interfaz web, que requiere de la ejecución de un navegador, denominada WebHTTrack, aunque también se puede ejecutar en modo texto. Para aquellos usuarios que no les haga mucha gracia tener un navegador ejecutándose (por ejemplo Firefox) también trataremos de la instalación de una interfaz gráfica GTK denominada gHTTrack, aunque ésta no esté traducida al español.



Instalación  

Dependencias

Herramientas de Compilación


Entre paréntesis la versión con la que se ha compilado HTTrack para la elaboración de este documento.

* GCC - (8.1.0) o Clang - (6.0.0)
* Gawk - (4.2.1)
* M4 - (1.4.18)
* Libtool - (2.4.6)
* Make - (4.2.1)
* Automake - (1.16.1)
* Autoconf - (2.69)

Librerías de Desarrollo

* OpenSSL - (1.0.2o)
* Zlib - (1.2.11)



Descarga

httrack-3.49.2.tar.gz

Optimizaciones

$ export {C,CXX}FLAGS='-O3 -march=amdfam10 -mtune=amdfam10'

Donde pone amdfam10 se indica el procesador respectivo de cada sistema seleccionándolo de la siguiente tabla:
Nota informativa sobre las optimizaciones para GCC
* La opción '-march=' establece el procesador mínimo con el que funcionará el programa compilado, la opción '-mtune=' el procesador específico para el que será optimizado. 

* Los valores separados por comas, son equivalentes, es decir, que lo mismo da poner '-march=k8' que '-march=athlon64'.

* En versiones de GCC 3.2 e inferiores se utiliza la opción '-mcpu=' en lugar de '-mtune='.
Nota informativa sobre las optimizaciones para Clang
* La opción '-mtune=' está soportada a partir de la versión 3.4 de Clang.

* Los valores de color azul no son compatibles con Clang.

* Las filas con el fondo de color amarillo son valores exclusivos de Clang, y por lo tanto, no son aplicables con GCC.
Valores CPU
Genéricos
Intel
AMD
VIA
IDT

Optimizaciones adicionales

Optimizaciones adicionales
GCC
Graphite
$ export {C,CXX}FLAGS+=' -floop-interchange -ftree-loop-distribution -floop-strip-mine -floop-block'
LTO
$ export {C,CXX}FLAGS+=' -fuse-linker-plugin -flto=2'
Donde pone 2 se indica el número de núcleos de nuestro procesador, si sólo tiene uno, utilizar el parámetro -flto

Clang
Polly
$ export {C,CXX}FLAGS+=' -O3 -mllvm -polly -mllvm -polly-vectorizer=stripmine'
LTO
$ export {C,CXX}FLAGS+=' -flto'
ThinLTO
$ export {C,CXX}FLAGS+=' -flto=thin'
La aplicación de esta optimización es alternativa a la tradicional LTO, a partir de Clang 3.9, y por lo tanto, no es combinable con la misma.

Parámetros adicionales

Parámetros adicionales de eliminación de avisos específicos en el proceso de compilación
Clang
$ export {C,CXX}FLAGS+=' -Qunused-arguments -Wno-unused-parameter -Wno-unknown-warning-option'

Establecer la ruta de búsqueda de directorios de librerías en sistemas de 64 bits multiarquitectura
$ export LDFLAGS+=" -L/usr/lib64 -L/usr/local/lib64"

Establecer el uso de enlazador dinámico para LLD
$ export LDFLAGS+=' -fuse-ld=lld'
Optimizaciones complementarias LTO de LLD
$ export LDFLAGS+=' -Wl,--lto-partitions=2'
Optimizaciones complementarias ThinLTO de LLD
$ export LDFLAGS+=' -Wl,--thinlto-jobs=2'
Donde pone 2 se indica el número de núcleos de nuestro procesador, si sólo tiene uno, no es necesario añadir el parámetro en cuestión.
Modificar el script de Libtool incluido en el paquete para poder hacerlo compatible con LLD
$ lld-libtool
Hacemos uso de la función de bash explicada en la sección del manual de Clang, para poder parchear el script de Libtool incluido en el paquete, y poder llevar a cabo el proceso de compilación con LLD como enlazador dinámico.

Establecer la variable de entorno de uso de compilador para Clang
$ export {CC,CXX}=clang
Si utilizamos Clang con Ccache, tendremos que establecer la variable de entorno correspondiente de Ccache de uso de compilador.
$ export CCACHE_CC=clang

Extracción y Configuración  Bloc de Notas Información general sobre el uso de los comandos

$ tar zxvf httrack-3.49.2.tar.gz
$ cd httrack-3.49.2
$ ./configure --disable-dependency-tracking --prefix=/usr \
--sysconfdir=/etc --disable-static --libdir=/usr/lib64

Explicación de los comandos

--disable-dependency-tracking : Acelera el tiempo de compilación.
--prefix=/usr : Instala el programa en el directorio principal /usr.

--sysconfdir=/etc
: Le indicamos que utilice el directorio /etc para la ubicación del archivo de configuración, en lugar de /usr/etc.
--disable-static : Desactiva la compilación de las librerías estáticas, al no ser necesarias para la ejecución del programa.

--libdir=/usr/lib64
: Instala las librerías en /usr/lib64, en sistemas de 64 bits multiarquitectura.

Compilación

$ make

Parámetros de compilación opcionales  

-j2 : Si tenemos un procesador de doble núcleo (dual-core), y el kernel está optimizado para el mismo y es SMP, con este parámetro aumentaremos el número de procesos de compilación simultáneos a un nivel de 2 y aceleraremos el tiempo de compilación del programa de forma considerable.
-j4 : Lo mismo que arriba pero con procesadores de 4 núcleos (quad-core).

Instalación como root

$ su
# make install-strip
# ldconfig -v

Estadísticas de Compilación e Instalación de HTTrack

Estadísticas de Compilación e Instalación de HTTrack
CPU AMD Phenom(tm) II X4 965 Processor
MHz 3415.709
RAM 4096 MB
Sistema de archivos XFS
Versión del Kernel 4.16.15-ck1 SMP PREEMPT x86_64
Modo de frecuencia de la CPU ondemand
Versión de Glibc 2.27
Enlazador dinámico LLD 6.0.0
Compilador Clang 6.0.0
Parámetros de optimización -03 -march=amdfam10 -mtune=amdfam10 -mllvm -polly -mllvm -polly-vectorizer=stripmine -flto=thin
Parámetros de compilación -j4
Tiempo de compilación 17"
Archivos instalados 216
Mostrar/Ocultar la lista de archivos instalados
Enlaces simbólicos creados 23
Mostrar/Ocultar la lista de enlaces simbólicos creados
Ocupación de espacio en disco 3,9 MB

Archivo de configuración personal

~/.httrack.ini Es el archivo de configuración personal de HTTrack en nuestro home.

Desinstalación como root

1) MODO TRADICIONAL

En el directorio de compilación ejecutamos el siguiente comando:

$ su -c "make uninstall"

2) MODO MANUALINUX

El principal inconveniente del comando anterior es que tenemos que tener el directorio de compilación en nuestro sistema para poder desinstalar el programa. En algunos casos esto supone muchos megas de espacio en disco. Con el paquete de scripts que pongo a continuación logramos evitar el único inconveniente que tiene la compilación de programas, y es el tema de la desinstalación de los mismos sin la necesidad de tener obligatoriamente una copia de las fuentes compiladas.

httrack-3.49.2-scripts.tar.gz

$ su
# tar zxvf httrack-3.49.2-scripts.tar.gz
# cd httrack-3.49.2-scripts
# ./Desinstalar_httrack-3.49.2

Copia de Seguridad como root

Con este otro script creamos una copia de seguridad de los binarios compilados, recreando la estructura de directorios de los mismos en un directorio de copias de seguridad (copibin) que se crea en el directorio /var. Cuando se haya creado el paquete comprimido de los binarios podemos copiarlo como usuario a nuestro home y borrar el que ha creado el script de respaldo, teniendo en cuenta que si queremos volver a restaurar la copia, tendremos que volver a copiarlo al lugar donde se ha creado.

$ su
# tar zxvf httrack-3.49.2-scripts.tar.gz
# cd httrack-3.49.2-scripts
# ./Respaldar_httrack-3.49.2

Restaurar la Copia de Seguridad como root

Y con este otro script (que se copia de forma automática cuando creamos la copia de respaldo del programa) restauramos la copia de seguridad como root cuando resulte necesario.

$ su
# cd /var/copibin/restaurar_copias
# ./Restaurar_httrack-3.49.2



Iniciamos HTTrack  Nota importante

Sólo nos queda teclear en una terminal o en un lanzador el comando webhttrack, y la interfaz web (en este caso Firefox) del programa aparecerá en la pantalla, también lo podemos usar en modo texto con el comando httrack


Captura WebHTTrack - 1


Captura WebHTTrack - 2


Captura WebHTTrack - 3




gHTTrack

Si no queremos usar una interfaz web, este programa cumple las mismas funciones. Desde el 21-05-2014 se incluye un paquete de código fuente modificado para que pueda cargar traducciones, además de la traducción al español correspondiente del programa.

Instalación

Dependencias

Herramientas de Compilación


Entre paréntesis la versión con la que se ha compilado gHTTrack para la elaboración de este documento.

* GCC - (8.1.0) o Clang - (6.0.0)
* Gawk - (4.2.1)
* M4 - (1.4.18)
* Libtool - (2.4.6)
* Make - (4.2.1)
* Automake - (1.16.1)
* Autoconf - (2.69)
* Gettext - (0.19.8.1)
* Pkg-config - (0.29.2)

Librerías de Desarrollo

* GTK+ - (2.24.32)



Descarga

ghttrack-0.5.2-ML.tar.xz

Firma Digital  Clave pública PGP

ghttrack-0.5.2-ML.tar.xz.asc

Verificar la firma digital del paquete

$ gpg --import manualinux.asc
$ gpg --verify ghttrack-0.5.2-ML.tar.xz.asc ghttrack-0.5.2-ML.tar.xz

Optimizaciones

Optimizaciones adicionales

Optimizaciones adicionales
GCC
Graphite
$ export {C,CXX}FLAGS+=' -floop-interchange -ftree-loop-distribution -floop-strip-mine -floop-block'
LTO
$ export {C,CXX}FLAGS+=' -fuse-linker-plugin -flto=2'
Donde pone 2 se indica el número de núcleos de nuestro procesador, si sólo tiene uno, utilizar el parámetro -flto

Clang
Polly
$ export {C,CXX}FLAGS+=' -O3 -mllvm -polly -mllvm -polly-vectorizer=stripmine'
LTO
$ export {C,CXX}FLAGS+=' -flto'
ThinLTO
$ export {C,CXX}FLAGS+=' -flto=thin'
La aplicación de esta optimización es alternativa a la tradicional LTO, a partir de Clang 3.9, y por lo tanto, no es combinable con la misma.

Parámetros adicionales

Parámetros adicionales de eliminación de avisos específicos en el proceso de compilación
Clang
$ export {C,CXX}FLAGS+=' -Qunused-arguments'

Establecer la ruta de búsqueda de directorios de librerías en sistemas de 64 bits multiarquitectura
$ export LDFLAGS+=" -L/usr/lib64 -L/usr/local/lib64"

Establecer el uso de enlazador dinámico para LLD
$ export LDFLAGS+=' -fuse-ld=lld'
Optimizaciones complementarias LTO de LLD
$ export LDFLAGS+=' -Wl,--lto-partitions=2'
Optimizaciones complementarias ThinLTO de LLD
$ export LDFLAGS+=' -Wl,--thinlto-jobs=2'
Donde pone 2 se indica el número de núcleos de nuestro procesador, si sólo tiene uno, no es necesario añadir el parámetro en cuestión.

Establecer la variable de entorno de uso de compilador para Clang
$ export {CC,CXX}=clang
Si utilizamos Clang con Ccache, tendremos que establecer la variable de entorno correspondiente de Ccache de uso de compilador.
$ export CCACHE_CC=clang

Extracción y Configuración  Bloc de Notas Información general sobre el uso de los comandos

$ tar Jxvf ghttrack-0.5.2-ML.tar.xz
$ cd ghttrack-0.5.2-ML
$ ./autogen.sh --disable-dependency-tracking --prefix=/usr

Explicación de los comandos

--disable-dependency-tracking : Acelera el tiempo de compilación.
--prefix=/usr : Instala el programa en el directorio principal /usr.

Compilación

$ make

Parámetros de compilación opcionales

Instalación como root

$ su -c "make install-strip"

Creación del archivo ghttrack.desktop

Para que gHTTrack sea detectado por los menús de entornos gráficos como XFce 4 o paneles como LXPanel o Fbpanel, abrimos un editor de texto y añadimos lo siguiente:
 
[Desktop Entry]
Name=gHTTrack
GenericName=Capturador de webs
Comment=Una interfaz GTK+ para HTTrack
Exec=ghttrack
Icon=httrack
Categories=Application;Network;WebBrowser
Type=Application


Lo guardamos con la codificación de caracteres UTF-8, y con el nombre ghttrack.desktop. Luego lo instalamos como root en /usr/share/applications. La desinstalación y respaldo de este archivo viene incluida en los scripts correspondientes proporcionados en este manual.

$ su -c "install -m644 ghttrack.desktop /usr/share/applications"

Estadísticas de Compilación e Instalación de gHTTrack

Estadísticas de Compilación e Instalación de gHTTrack
CPU AMD Phenom(tm) II X4 965 Processor
MHz 3415.709
RAM 4096 MB
Sistema de archivos XFS
Versión del Kernel 4.16.15-ck1 SMP PREEMPT x86_64
Modo de frecuencia de la CPU ondemand
Versión de Glibc 2.27
Enlazador dinámico LLD 6.0.0
Compilador Clang 6.0.0
Parámetros de optimización -03 -march=amdfam10 -mtune=amdfam10 -mllvm -polly -mllvm -polly-vectorizer=stripmine -flto=thin
Parámetros de compilación -j4
Tiempo de compilación 8"
Archivos instalados 34
Mostrar/Ocultar la lista de archivos instalados
Ocupación de espacio en disco 284 KB

Consumo inicial de CPU y RAM de gHTTrack

Consumo inicial de CPU y RAM de gHTTrack
Proceso
CPU Memoria física
ghttrack 0 % 28,4 MB

Archivo de configuración personal

~/.ghttrack.cfg Es el archivo de configuración personal de gHTTrack en nuestro home.

Desinstalación como root

1) MODO TRADICIONAL

En el directorio de compilación ejecutamos el siguiente comando:

$ su -c "make uninstall"

2) MODO MANUALINUX  

ghttrack-0.5.2-ML-scripts.tar.gz

$ su
# tar zxvf ghttrack-0.5.2-ML-scripts.tar.gz
# cd ghttrack-0.5.2-ML-scripts
# ./Desinstalar_ghttrack-0.5.2-ML

Copia de Seguridad como root

$ su
# tar zxvf ghttrack-0.5.2-ML-scripts.tar.gz
# cd ghttrack-0.5.2-ML-scripts
# ./Respaldar_ghttrack-0.5.2-ML

Restaurar la Copia de Seguridad como root

$ su
# cd /var/copibin/restaurar_copias
# ./Restaurar_ghttrack-0.5.2-ML



Traducción al Español de gHTTrack

Descarga

gHTTrack_es-ML0.run

Firma Digital  Clave pública PGP

gHTTrack_es-ML0.run.asc 

Verificar la firma digital del paquete

$ gpg --import manualinux.asc 
$ gpg --verify gHTTrack_es-ML0.run.asc gHTTrack_es-ML0.run

Instalación como root

$ su -c " sh gHTTrack_es-ML0.run"



Iniciamos gHTTrack  

Sólo nos queda teclear en una terminal o en un lanzador el comando ghttrack, y el programa aparecerá en la pantalla.


Captura gHTTrack


Captura gHTTrack


Captura gHTTrack




Enlaces  


http://www.httrack.com >> La web de HTTrack.

http://home.hccnet.nl/paul.schuurmans/linux >> La web de gHTTrack.


Foro Galería Blog


Actualizado el 12-06-2018

Capturadores de Webs - HTTrack

Clientes BitTorrent - qBittorrent