Happy Coding Lab
Happy Coding Lab,分享平日 Coding 的各種知識分享,快樂學習、快樂成長。
  好文推薦
GCP

GCP系列-使用 Dataproc initialization actions 安裝 python package

本範例將會教授如何使用 dataproc initialization actions 來安裝 python package 於 cluster,就可以在 launch spark 時安裝套件至每一台 worker 上面。

閱讀更多
NLP

NLP 系列 - Tensorboard 視覺化 word2vec 詞向量

word2vec 的應用已經相當的的普及,但是該模型為向量組成,充滿了一般人腦袋不可理解的維度與空間,此文章將利用 Tensorboard 將模型的向量投射到多維空間中,可以清晰地看得出詞與詞之間的相依關係。

閱讀更多
keras

keras系列 - keras model部署與序列化於spark進行預測

Keras 先天設計上無法序列化 (serialize),只能在單機上使用 (利用cpu 或 gpu)。但我又有需要大量預測的需求,基本上查詢的到的方法都會有個類序列化的方式,將 model 傳遞到每個 worker上,達到分散的目的,本文將記錄嘗試的各種方式。

閱讀更多
pyspark

pyspark系列-如何於 dataframe 增加索引(index)值或 row number

本範例將會示範如何在 pyspark dataframe 中加入 index 號碼。將會簡單的使用 Window 這個 lib 搭配 pyspark.sql.functions 中的 row_number 來進行操作。

閱讀更多
pyspark

pyspark 系列 - 在 lit 中使用 Array(Arraylist) 教學

想要使用 lit 增加欄位時,如果增加的是一個 array,spark 將會拋出錯誤 Unsupported literal type class java.util.ArrayList。本文章將簡單的示範該如何解決此問題。

閱讀更多
pyspark

pyspark 系列 - collect_list 與 collect_set 實例教學

How to use collect_list & collect_set in pyspark dataframe?在使用 spa

閱讀更多
pyspark

pyspark系列-字串轉時間格式 string to datetime or timestamp

本範例將會示範如何在 pyspark 中使用 to_date 方法將時間字串轉成 datetime 格式以及 unix_timestamp 方法轉 timestamp 格式。

閱讀更多
SEO

seo-移除未使用的 css (purify css)

網頁的效能優化到最後可能會進入一個撞牆期,當該壓縮的都壓縮了,該緩存的也緩存了,但是 performance 還是不完美,這時還能做什麼呢?本篇就來告訴你一個小技巧,purify css!

閱讀更多
SEO

seo-使用 Cache-Control 在 nginx 解決 Serve static assects with an efficient cache policy 問題

seo 改進的後期關鍵基本上都是想辦提昇網頁的整體載入效能,本文將分享使用 nginx 作為 server 時如何快速的將平常使用的 css, js 緩存,讓網頁讀取更快速,也不會造成server負擔。

閱讀更多
Mac M1系列-如何安裝 tensorflow 於Mac M1? Mac M1系列-如何安裝 tensorflow 於Mac M1?
Mac系列新機,均搭載蘋果專為Mac設計的首款晶片M1,以Arm架構設計Apple Silicon處理器的晶片M1,可以擁有更好的效能體驗,不過一開始卻有許多的災情尤其是很多程式的相容性。這篇將會講述如何解決無法使用 pip install tensorflow 的方式安裝 tensorflow 的錯誤問題 !
2021-04-15
Mac M1系列-解決安裝wget的 Error: Cannot install under Rosetta 2 in ARM default prefix (/opt/homebrew) Mac M1系列-解決安裝wget的 Error: Cannot install under Rosetta 2 in ARM default prefix (/opt/homebrew)
Mac系列新機,均搭載蘋果專為Mac設計的首款晶片M1,以Arm架構設計Apple Silicon處理器的晶片M1,可以擁有更好的效能體驗,不過一開始卻有許多的災情尤其是很多程式的相容性。這篇將會講述如何解決安裝 wget 遇到的錯誤問題!
2021-03-17
Mac M1系列-解決安裝python pandas問題(使用iTerm2) Mac M1系列-解決安裝python pandas問題(使用iTerm2)
Mac系列新機,均搭載蘋果專為Mac設計的首款晶片M1,以Arm架構設計Apple Silicon處理器的晶片M1,可以擁有更好的效能體驗,不過一開始卻有許多的災情尤其是很多程式的相容性。這篇將會講述如何解決安裝 python 套件 pandas 遇到的錯誤問題!
2021-03-17
Mac M1系列-解決docker安裝mysql error:no matching manifest for linux/arm64/v8 in the manifest list entries Mac M1系列-解決docker安裝mysql error:no matching manifest for linux/arm64/v8 in the manifest list entries
Mac系列新機,均搭載蘋果專為Mac設計的首款晶片M1,以Arm架構設計Apple Silicon處理器的晶片M1,可以擁有更好的效能體驗,不過一開始卻有許多的災情尤其是很多程式的相容性。這篇將會講述如何解決用 docker 建立 mysql 遇到的錯誤問題 !
2021-03-17
Mac M1系列-如何安裝 docker Mac M1系列-如何安裝 docker
Mac系列新機,均搭載蘋果專為Mac設計的首款晶片M1,以Arm架構設計Apple Silicon處理器的晶片M1,可以擁有更好的效能體驗,不過一開始卻有許多的災情尤其是很多程式的相容性,今天就來簡單介紹大家常用的 docker 安裝吧!
2021-03-12
NLP 系列- 如何在word2vec訓練時讓WikiCorpus保留數字(digit)? NLP 系列- 如何在word2vec訓練時讓WikiCorpus保留數字(digit)?
訓練 word2vec model(後面簡稱w2v) 時的中文語料第一選擇通常就是 Wikipedia 的語料庫(最後一次查看有`3651160篇文章`),而 w2v 本身又支援直接處理 wiki 的 bz2檔案產出對應格式的中文,不過他會先做一些預處理例如:移除標點符號、所有的數字,但我又想要留下這些東西怎麼辦呢?我們來繼續看下去!
2021-02-04
Django 系列- 如何在{{value}}中完整移除html tag? Django 系列- 如何在{{value}}中完整移除html tag?
在顯示部落格的文章清單時常常會有顯示每篇文章開頭的簡短文字需求,內建的 `truncatechars` 將會是你的好朋友!不過使用的時候卻會把 HTML Tag 字元都算進去,使用起來相當不便,這時候就可以使用`striptags`來解決問題喔!
2021-01-13
pyspark系列-如何使用pyspark連結clickhouse教學 pyspark系列-如何使用pyspark連結clickhouse教學
本文將簡單的示範如何在 pyspark 中對 clickhouse 進行讀取的動作。
2020-10-14
pyspark系列-如何使用pyspark連結kafka教學 pyspark系列-如何使用pyspark連結kafka教學
本文將簡單的示範如何在 pyspark 中對 kafka 進行讀取與寫入的動作。
2020-10-14
登山系列-玉山一日單攻(主峰)攻略&紀錄 登山系列-玉山一日單攻(主峰)攻略&紀錄
登上玉山的計畫從2020/03就開始了,但一路上可以的時間都一直抽不到簽,超級沒有籤運,與排雲山莊非常的沒有緣分,後來就開始改抽玉山單攻,很幸運的在8月改制後(先搶先贏改成電腦選)就中籤了,由於當初在網路上很多資料其實有點舊了,所以希望寫一篇來紀錄一下!
2020-10-08
1 / 4