Thư viện zipfile để xử lí file Zip. Thư viện rarfile để xử lí file Rar. Thư viện UnRAR, thư viện rarfile bắt buộc đi kèm với thư viện này Thư viện os để kiểm tra file. Thư viện argparse để nhận các Argument. Thư viện threading để tăng tốc bằng cách xử lí đa luồng. Thư viện itertools để tạo các chuỗi password. Thư viện time để tính thời gian (cái này mình đưa vào để tính xem mất bao lâu thôi chứ nó không bắt buộc ).
Đầu tiên ta tạo một biến lưu giá trị của tất cả các kí tự trên bàn phím:
CHARACTER ='abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ1234567890!@#$%^&()'
Sau đó viết các argument cần thiết:
parser = argparse.ArgumentParser(description='Crack zip rar', epilog='Use the -h for help')
parser.add_argument('-i','--input', help='Insert the file path of compressed file', required=True)
parser.add_argument('rules', nargs='*', help='<min> <max> <character>')
classHandler:def__init__(self, rules, typeCompress, minLength, maxLength, character):
self.rules = rules
self.location = sys.argv[2]
self.type = typeCompress
self.minLength = minLength
self.maxLength = maxLength
ifnot character:
self.character = CHARACTER
else:
self.character = character
self.result = False
self.GetFile()
self.CheckRules()
defGetFile(self):# Khai báo fileif self.type == '.zip':
self.FileCrack = zipfile.ZipFile(self.location)
else:
self.FileCrack = rarfile.RarFile(self.location)
defBrute(self,password):# Brute với các pass đưa vào, nếu .zip thì phải encode string password thành utf-8 vì module zipfile bắt buộctry:
if self.type == '.zip':
tryPass = password.encode()
else:
tryPass = password
print (tryPass)
self.FileCrack.extractall(pwd=tryPass)
print ('Complete')
print('Time:',time.clock() - self.start_time,'s')
print ('Password:',password)
self.result = Trueexcept:
passdefCheckRules(self):
self.start_time = time.clock()
print ('Cracking...')
# Nếu không có rules thì lặp vô hạnifnot self.rules:
length = 1whileTrue:
self.SendRequest(length)
if self.result:
return
length += 1# Nếu có rules thì sẽ lặp từ độ dài <min> <max> của các argument đưa vàoelse:
for length in range(self.minLength, self.maxLength + 1):
self.SendRequest(length)
if self.result:
returnifnot self.result:
print ('Cannot find password with this rules')
returndefSendRequest(self,length):
listPass = product(self.character, repeat=length)
for Pass in listPass:
tryPass = ''.join(Pass)
# Multi Thread:# nThread = Thread(target=self.Brute, args=(tryPass, ))# nThread.start()# Single Thread:
self.Brute(tryPass)
if self.result:
return
Toàn bộ code:
import zipfile
import rarfile
import os
import sys
from threading import Thread
import argparse
from itertools import product
import time
parser = argparse.ArgumentParser(description='Crack zip rar', epilog='Use the -h for help')
parser.add_argument('-i','--input', help='Insert the file path of compressed file', required=True)
parser.add_argument('rules', nargs='*', help='<min> <max> <character>')
CHARACTER = 'abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ1234567890!@#$%^&*()'classCheck:def__init__(self, Arg):
self.type = None
self.rules = False
self.minLength = None
self.maxLength = None
self.character = None# Kiểm tra rulesif len(Arg) >= 4:
self.getData(Arg)
self.rules = Trueelif len(Arg) == 0or len(Arg) > 2:
parser.print_help()
parser.exit()
# Kiểm tra file có tồn tại hay khôngif (self.CheckFileExist(Arg)):
self.getType(Arg)
else:
print ('No such file or directory: ',Arg[1])
parser.exit()
defCheckFileExist(self, Arg):if (os.path.isfile(Arg[1])):
returnTrueelse:
returnFalsedefgetData(self, Arg):try:
self.minLength = int(Arg[2])
self.maxLength = int(Arg[3])
except ValueError:
print ('Value Error')
parser.exit()
if self.minLength > self.maxLength:
print ('Length Error')
parser.exit()
if len(Arg) == 5:
self.character = Arg[4]
defgetType(self, Arg):if os.path.splitext(Arg[1])[1] == ".rar"or os.path.splitext(Arg[1])[1]==".zip":
self.type = os.path.splitext(Arg[1])[1]
else:
print ('Extension Error')
parser.exit()
classHandler:def__init__(self, rules, typeCompress, minLength, maxLength, character):
self.rules = rules
self.location = sys.argv[2]
self.type = typeCompress
self.minLength = minLength
self.maxLength = maxLength
ifnot character:
self.character = CHARACTER
else:
self.character = character
self.result = False
self.GetFile()
self.CheckRules()
defGetFile(self):# Khai báo fileif self.type == '.zip':
self.FileCrack = zipfile.ZipFile(self.location)
else:
self.FileCrack = rarfile.RarFile(self.location)
defBrute(self,password):# Brute với các pass đưa vào, nếu .zip thì phải encode string password thành utf-8 vì module zipfile bắt buộctry:
if self.type == '.zip':
tryPass = password.encode()
else:
tryPass = password
print (tryPass)
self.FileCrack.extractall(pwd=tryPass)
print ('Complete')
print('Time:',time.clock() - self.start_time,'s')
print ('Password:',password)
self.result = Trueexcept:
passdefCheckRules(self):
self.start_time = time.clock()
print ('Cracking...')
# Nếu không có rules thì lặp vô hạnifnot self.rules:
length = 1whileTrue:
self.SendRequest(length)
if self.result:
return
length += 1# Nếu có rules thì sẽ lặp từ độ dài <min> <max> của các argument đưa vàoelse:
for length in range(self.minLength, self.maxLength + 1):
self.SendRequest(length)
if self.result:
returnifnot self.result:
print ('Cannot find password with this rules')
returndefSendRequest(self,length):
listPass = product(self.character, repeat=length)
for Pass in listPass:
tryPass = ''.join(Pass)
# Multi Thread:# nThread = Thread(target=self.Brute, args=(tryPass, ))# nThread.start()# Single Thread:
self.Brute(tryPass)
if self.result:
returndefmain():
check = Check(sys.argv[1:])
args = parser.parse_args()
rarfile.UNRAR_TOOL = "UnRAR.exe"
Handling = Handler(check.rules, check.type, check.minLength, check.maxLength, check.character)
if __name__ == '__main__':
main()
3. Thử nghiệm
Không rules
Mình tạo một file zip tên là Takizawa Laura.zip với pass là jav
Chạy thử và kết quả:
Ban đầu, list pass được tạo với length = 1 sẽ có dạng [a, b, c,…] sau đó không được tiếp tục tăng length = 2 nên list trở thành [aa, ab, ac,…] cũng không được nốt, length = 3 thì [aaa, aab,…, jav,…].
Có rules
Mình tạo một file rar tên là PPPD-558.rar với pass là boobs
Chạy thử với rules 4 5 abos:
Ban đầu, list pass được tạo với length = 4 (min Length) sẽ có dạng [aaaa,aaab,,…] sau đó không được tiếp tục tăng length = 5 (max Length) ( nên list trở thành [aaaaa, aaaab, …, boobs,…] .
4. Lời kết
Đây là một cách crack file zip đơn giản sử dụng kĩ thuật Brute Force, ưu điểm là luôn tìm ra password, nhưng nhược điểm là phải mất kha khá thời gian với các mật khẩu dài dòng, ví dụ như: yaxua.laktr0j hay racjngp0yvjppr0 chẳng hạn.
Sử dụng thread có thể tăng tốc lên một ít,nhưng các bạn cần limit thread lại kẻo treo máy bằng cách dùng thư viện queue.
Mình cũng đã thêm rules vào để tối ưu hóa khả năng tìm pass, với rules các bạn có thể giảm số lượng pass thử, ví dụ như các bạn đoán pass dài khoảng 6 - 9 kí tự và lượng character chỉ gồm có các kí tự gồm [x, h, a, m, s, t, e, r] thì lúc đó sẽ rút gọn được rất nhiều thời gian.
Các bạn có thể fork project của mình trên github. Cảm ơn bạn đã đọc bài.
Bạn muốn học lập trình hãy liên hệ ngay với Mỹ Vân để được nhận ưu đãi từ học viện nhé
Học lập trình tại Đà Nẵng 0935029202Số tài khoản : 56110000942174 BIDV Chi nhánh Đà NẵngHUYNH THI MY VAN
Khi chuẩn bị data cho model trong machine learning, các điểm dữ liệu đôi khi chênh lệch nhau quá lớn, một thành phần có khoảng giá trị từ 0 đến 1000, thành phần kia chỉ có khoảng giá trị từ 0 đến 1 chẳng hạn. Lúc này, chúng ta cần chuẩn hóa dữ liệu trước khi thực hiện các bước tiếp theo. Còn gọi là Feature scaling.
Cũng có trường hợp lượng feature của data lớn nên chúng ta cần chọn ra một số lượng nhỏ hơn các feature phù hợp với bài toán. Còn gọi là Feature selection.
Sau khi sử dụng các phương pháp tiền xử lý xong, bước tiếp theo là đưa dữ liệu vào model. Và tất cả các bước trên có thể gói gọn vào Pipeline để mọi việc được đơn giản hoá. Tại sao nên dùng Pipeline và lợi ích nó đem lại như thế nào, cùng thực hành và bạn sẽ thấy được cái hay của Pipeline đem lại.
Lần này mình sẽ sử dụng bộ data: Breast Cancer Wisconsin. Bộ dataset này bao gồm 569 sample chuẩn đoán ác tính, lành tính với tế bào khối u. Nói qua 1 chút về bộ data này nhé:
2 cột đầu tiên tương ứng với sample id và kết quả chuẩn đoán. M là ác tính, B là lành tính. Từ cột thứ 3 đến 32 chứa dữ liệu được tính toán từ hình ảnh chụp tế bào khối u. Từ những số liệu này, việc cần làm là xây dựng model dự đoán khối u ác tính hay lành tính.
Với 3 bước đơn giản sau để chuẩn bị data:
import pandas as pd
df = pd.read_csv('https://archive.ics.uci.edu/ml/machine-learning-databases/breast-cancer-wisconsin/wdbc.data', header =None)
from sklearn.preprocessing import LabelEncoder
# X chứa data của feature
X = df.loc[:, 2:].values
# y là target
y = df.loc[:, 1].values
le = LabelEncoder()
# Convert target dạng chữ về số
y = le.fit_transform(y)
le.transform(['M', 'B'])
# array([1, 0])
from sklearn.model_selection import train_test_split
# Chia data thành 2 phần: training data, test data
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=1)
Để có thể sử dụng LogisticRegression chúng ta cần chuẩn hoá dữ liệu.
Ngoài ra còn có công đoạn giảm số chiều của dữ liệu. Vậy tại sao lại cần giảm số chiều của dữ liệu làm gì? Thực ra các feature vectors trong các bài toán thực tế có thể có số chiều rất lớn, tới vài nghìn. Ngoài ra, số lượng các điểm dữ liệu cũng thường rất lớn. Nếu thực hiện lưu trữ và tính toán trực tiếp trên dữ liệu có số chiều cao này thì sẽ gặp khó khăn cả về việc lưu trữ và tốc độ tính toán. Vì vậy, giảm số chiều dữ liệu là một bước quan trọng trong nhiều bài toán
Hiện tại số chiều của dữ liệu đang là 30, mình sẽ sử dụng PCA để giảm số chiều xuống còn 2. Cụ thể về PCA bạn có thể tham khảo tại đây.
Vì vậy thay vì lần lượt làm 3 công đoạn riêng, mình sẽ tạo 1 Pipeline, Pipeline sẽ có nhiệm vụ kết hợp 3 Object: StandardScaler, PCA, LogisticRegression.
from sklearn.preprocessing import StandardScaler
from sklearn.decomposition import PCA
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import Pipeline
pipe_lr = Pipeline([('scl', StandardScaler()),
('pca', PCA(n_components=2)),
('clf', LogisticRegression(random_state=1))
])
pipe_lr.fit(X_train, y_train)
'Test Accuracy: %.3f' % pipe_lr.score(X_test, y_test)
#'Test Accuracy: 0.947'
Pipeline là list tuple. Ví dụ như ('clf', LogisticRegression(random_state=1)) thì clf là tên gán cho object LogisticRegression phía sau, chỉ là tên nên bạn muốn đặt sao cũng được, nhưng nên đặt tên có nghĩa. Và chúng ta có thể truy cập các component bên trong Pipeline qua tên định danh này.
Bước trung gian trong Pipeline là transform và cuối cùng là bước dự đoán. Ở ví dụ trên có 2 bước trung gian: StandardScaler và PCA. Bước cuối là model phân loại hồi quy LogisticRegression.
Khi tiến hành gọi method fit của pipe_lr thì Object StandardScaler sẽ tiến hành gọi method fit và transform với đầu vào là Training Data.
Training Data sau khi được scaling sẽ đi đến bước tiếp theo là PCA. Tại bước này, số chiều dữ liệu hiện tại là 30 giảm xuống còn n_components chiều. Cũng giống như bước trên, method fit và transform sẽ được gọi.
Và data sau khi được transform qua 2 bước trên sẽ được chuyển đến model LogisticRegression.
Lưu ý nhỏ là:
Số bước trung gian không giới hạn. Ví dụ bạn có thể thêm bước lựa chọn đặc trưng sử dụng SelectKBest, RFE, RFECV chẳng bạn. Hay sử dụng thêm OneHotEncoder.
Sơ đồ luồng xử lý minh hoạ cho những gì mình nói ở trên:
Ngoài ra trong trường hợp muốn set lại parameter cho model hoặc các transform object bạn có thể làm như sau:
Như ở ví dụ tên định danh của object và parameter được nối với nhau bởi dấu __, rất đơn giản phải không.
Ví dụ với SelectKBest
Như mình đã nói ở trên, khi lượng feature của data lớn nên chúng ta cần chọn ra một số lượng nhỏ hơn các feature phù hợp với bài toán. Tuy nhiên với dữ liệu Breast Cancer Wisconsin thì lượng feature cũng không nhiều. Nhưng cứ thử xem kết quả có cải thiện được không nhé.
Mình thử chọn ra 15 feature tốt nhất nhưng rất tiếc là kết quả không được cải thiện. Và đây là kết quả khi chưa tunning hyper parameter.
Tổng kết
Mình viết bài viết này muốn giới thiệu với các bạn những kiến thức cơ bản về Pipeline. Làm việc với machine learning thì chắc chắn bạn sẽ gặp và ứng dụng rất nhiều bài toán khác với pipeline. Mong rằng những kiến thức cơ bản trên sẽ giúp các bạn làm việc dễ dàng hơn.
Hẹn gặp lại các bạn ở các bài viết sau ^^
Source code bạn có thể xem tại đây.
Bạn muốn học lập trình hãy liên hệ ngay với Mỹ Vân để được nhận ưu đãi từ học viện nhé
Học lập trình tại Đà Nẵng 0935029202Số tài khoản : 56110000942174 BIDV Chi nhánh Đà NẵngHUYNH THI MY VAN