Cuando trabajas con ficheros grandes, desde miles de megas a varios GBs, lo idóneo es leerlos poco a poco y evitar a toda costa funciones que tiren mucho de RAM.
* Evitar el uso de funciones Readlines y similares con ficheros grandes.
La siguiente función cuenta lineas de cualquier archivo:
def countlines(filein):
fin = open(filein, "r")
n=0
for linea in fin:
n+=1
fin.close()
return n
Saludos!