Happy Coding Lab
Happy Coding Lab，分享平日 Coding 的各種知識分享，快樂學習、快樂成長。
Flask 系列 - Flask error handling 教學(ㄧ) Flask 系列 - Flask error handling 教學(ㄧ)
Flask 是相對輕量的架構，寫起來簡單易懂好上手，不過在遇到 exception 的時候，是不是很常發生收到 400,500 等等的 http 代碼卻還是不知道到底錯在哪？本文將會快速的為你示範如何處理flask 的 error handling 問題。
2020-02-19 flask
error handling flask exception traceback
MAC terminal 的常用快捷鍵分享 MAC terminal 的常用快捷鍵分享
日常寫 code 常常會用到 terminal，但是剛開始從 windows 切換使用 mac 時的快捷鍵真的會使用的一頭霧水，特別是想要針對指令很長的程式進行修改的時候，下列就稍微來分享間單的常用的操作。
2020-02-05 tools
快捷鍵 hot key mac terminal vim
pyspark 系列- 於pyspark中不同column的array操作intersect pyspark 系列- 於pyspark中不同column的array操作intersect
本篇將會分享如何針對兩個 column 的 array 進行 `intersect`，其中包含找到重複值 `array_intersect ` 以及找到不重複值的 `array_except`。
2020-01-10 pyspark
pyspark intersect array_intersect array_except
GCP 系列- GCE 的 --metadata-from-file startup-script 沒有被執行 GCP 系列- GCE 的 --metadata-from-file startup-script 沒有被執行
在 GCP 中的 GCE 建立 VM 時常會有要順便安裝或設置的套件與服務的需求，並將其打包成一個 script 送過去，但是時常會發生機器啟動後卻沒有順利地被安裝。最直接的原因就是 script 出錯或是根本沒被執行，以下提供快速簡單的方法查證自己的 startup script 到底在哪裡出錯了。
2019-12-19 GCP
GCE
pyspark 系列 - collect_list 與 collect_set 實例教學 pyspark 系列 - collect_list 與 collect_set 實例教學
How to use collect_list & collect_set in pyspark dataframe?在使用 spa
2019-12-12 pyspark
pyspark collect_list collect_set
GCP系列-使用 Dataproc initialization actions 安裝 python package GCP系列-使用 Dataproc initialization actions 安裝 python package
本範例將會教授如何使用 dataproc initialization actions 來安裝 python package 於 cluster，就可以在 launch spark 時安裝套件至每一台 worker 上面。
2019-12-09 GCP
GCP Dataproc pyspark
keras系列 - keras model部署與序列化於spark進行預測 keras系列 - keras model部署與序列化於spark進行預測
Keras 先天設計上無法序列化 (serialize)，只能在單機上使用 (利用cpu 或 gpu)。但我又有需要大量預測的需求，基本上查詢的到的方法都會有個類序列化的方式，將 model 傳遞到每個 worker上，達到分散的目的，本文將記錄嘗試的各種方式。
2019-11-29 keras
pyspark keras serialize spark
NLP 系列 - Tensorboard 視覺化 word2vec 詞向量 NLP 系列 - Tensorboard 視覺化 word2vec 詞向量
word2vec 的應用已經相當的的普及，但是該模型為向量組成，充滿了一般人腦袋不可理解的維度與空間，此文章將利用 Tensorboard 將模型的向量投射到多維空間中，可以清晰地看得出詞與詞之間的相依關係。
2019-11-26 NLP
word2vec nlp tensorboard
pyspark 系列 - 在 lit 中使用 Array(Arraylist) 教學 pyspark 系列 - 在 lit 中使用 Array(Arraylist) 教學
想要使用 lit 增加欄位時，如果增加的是一個 array，spark 將會拋出錯誤 Unsupported literal type class java.util.ArrayList。本文章將簡單的示範該如何解決此問題。
2019-11-26 pyspark
pyspark lit arraylist
pyspark系列 - 如何傳遞所有 column 給 UDF 實例 pyspark系列 - 如何傳遞所有 column 給 UDF 實例
當參數稍微多一點時，傳遞參數到UDF就會寫的非常的長，也很不美觀，寫一個簡單的範例來解決此問題。
2019-11-21 pyspark
pyspark udf
3 / 4