Ir al contenido principal

Comparar y enviar por ftp con Python

Aunque por razones laborales me encuentro casi de lleno en la administración de bases de datos, en algunas ocasiones mis compañeros de infraestructura se encuentran con algunas situaciones las cuales pueden ser resueltas de forma "fácil y divertida" usando Python y aquí es donde entro a sugerir y ayudar con algunas cosas de mi antigua área de infraestructura.

Para este caso la situación es esta:
Cada día se generan en un directorio archivos con consolidados de transacciones que deben ser enviados a un servidor externo por ftp. En el directorio permanencen almacenados los archivos generados durante un mes y cada mes se va borrando el más antiguo.

Se necesitaba automatizar ese proceso pero con la condición de que sólo se debía enviar el archivo generado el último día; para ello creamos entonces el siguiente script en Python que se conecta al servidor remoto para listar los archivos que tiene ya cargados; genera el listado del servidor local con los archivos generados desde hace un mes hasta la fecha.

El script revisa/compara el listado y si en el servidor local existe un archivo que no se encuentra en el remoto entonces procede a enviarlo.

Existen diferentes formas de hacer esto, pero para efectos de repasar lectura y escritura de archivos lo hicimos así:

#!/usr/bin/python
# Importa librerias necesarias para trabajarimport pysftp    # Permite conectar remotamenteimport os        # Permite ejecutar comandos de sistema operativo
# Lista archivos localesarchivo_remoto = os.listdir('/consolidados/salida/')

# Almacenamos la lista en un arreglofor archivo in archivo_remoto:
    # Guardamos el resultado en un archivo de texto    local=open('archivo_remoto.txt','w')
    local.write(str(archivo))

with pysftp.Connection('dominioalqueconecta.com', username='usuario', password='clave') as sftp:
    with sftp.cd('/out'):
        archivo_sftp = sftp.listdir()
        remoto=open('archivo_local.txt','w')
        remoto.write(str(archivo_sftp))

# Comparo los archivosf_local=open('archivo_remoto.txt','r')

comparar = f_local.readlines()
for i in comparar:
    f_remoto = open('archivo_local.txt','r')
    full = f_remoto.read()
    if full.find(str(i))>=0:
        print i,' Existe \n'    else:
        print i
        # Envio el archivo faltante        with pysftp.Connection(''dominioalqueconecta.com', username='usuario', password='clave') as sftp:
                with sftp.cd('/out'):
                        sftp.put('/archivos/salida/'+str(i))
    f_remoto.close()
f_local.close()

sftp.close() 
 
Como para mejorarle faltaría el envio de correo indicando el resultado del escript; si envio archivo, que archivo envio, si fallo, cual fue la falla, etc.
 
Espero este código les pueda servir de guía .

Comentarios

Entradas populares de este blog

Lenguajes de programación más conocidos en la historia de la computación

Los primeros lenguajes de programación eran difíciles de construir ya que éstos debían ser "desarrollados" a un nivel que la máquina entendiera directamente, es decir, la programación de computadoras de esta época dependía mucho de la máquina para la que se estaba trabajando y detectar un error o fallo en la programación no solo era complejo sino que demandaba mucho tiempo y esfuerzo. En 1946 Grace Murray Hopper, científica en sistemas y oficial de la marina estadounidense creo el FLOW-MATIC, considerado el primer lenguaje de programación útil para resolver problemas de usuarios comerciales.  Su desarrollo fue enfocado a la UNIVAC 1.  Este lenguaje de programación fue visto como de "alto nivel", fácil de usar por los científicos de la época.  FLOW-MATIC requería de un traductor (compilador) para ser interpretado por la máquina.   Con este lenguaje de programación se establece el concepto de programación basado en palabras del lenguaje natural y se da inicio al d...

Enviar archivos por sftp con Python

Esta es una breve modificación a uno de los scripts creados con anterioridad y que consiste en enviar un archivo por  sftp.   La necesidad en concreto consistía en comparar ambos servidores local y remoto y validar qué archivo faltaba en el remoto que estuviera en el local para proceder a enviarlo y mantener el remoto actualizado. Este script se guarda con el nombre que quieras, le das permiso de ejecución y lo agregas en un crontab. import pysftp import os # Cambiar por la ruta donde se generan los archivos (Amsterdam) servidor_local = os.listdir(r'C:\proyecto\archivos') #print servidor_local # Cambiar por una ruta en Amsterdam, puede ser /tmp/res os.remove(r"c:\proyecto\res\archivos.txt") for archivos in servidor_local: # Cambiar por '/tmp/res/archivos.txt','a' local = open(r"c:\proyecto\res\archivos.txt",'a') print 'Archivo local: '+archivos local.write(str(archivos)+'\n') ...

Extraer logs de un rango de hora

Seguramente en sus trabajos se habrán visto en la necesidad de extraer logs en un rango dado de hora; es decir, desde las xx hasta las yy. Este proceso se puede hacer en linux utilizando varios comando como el grep, head, cut, etc. que combinados nos mostrarán lo que andamos buscando. Como en mi trabajo actual es bastante común esta actividad me he dado a la tarea de crear un script bash para ello. Este es el código fuente que obviamente pueden mejor y/o adaptar a sus necesidades: #!/bin/bash ## Rango v.1.0 ## Genera un log con un rango de hora ingresado ## Autor: Manuel Gonzalez ## http://maengora.blogspot.com # Forma de usar el script echo "Con bash: ./rango.sh " # Solicito la hora inicial y la almaceno en la variable HORA_INICIAL echo -n "Hora incial hh:mm " read HORA_INICIAL # Solicito hora final echo -n "Hora final hh:mm " read HORA_FINAL # Solicito el nombre del log de donde voy a extraer la informacion echo -n "Nombre del log a analizar ...