Derive macrosを使ってstructにBuilder Patternを生やしてくれるやつを書いてみた
こんばんは、id:Krouton です。ISUCON10にRustで参加した話をてがきはてなブログで書こうと思ったら消えたので萎えました。ISUCON11までには書きます。多分...。
本題
Derive macros使ってますか？serdeとか使うと出てくる #[derive(Serialize, Deserialize)]の部分ですね。
Derive macrosでstructにBuilder Patternの実装を提供してくれる良さそうなライブラリ*1があって、練習のために実装の真似をしてました
use proc_builder_pattern::Builder; #[derive(Default, Builder)] struct Point { x: usize, y: usize, }
ってやったら
struct Point { x: usize, y: usize, } impl Point { fn x(self, val: usize) -> Self { Self { x: val, ..self } } } impl Point { fn y(self, val: usize) -> Self { Self { y: val, ..self } } } Point::default().x(1).y(2)
って感じに使うことができます。
最初は解説を書こうと思ったけど実装とドキュメント読めば自明じゃね！？って思ったので実装したリポジトリだけ置きます、参考にしたライブラリは初期化してないメンバを検知する機構があったり、Into
binutilsが入ってるとopamでswitch createした時のビルドに失敗するっぽい？
➜ ~ opam switch create 4.09.0 <><> Gathering sources ><><><><><><><><><><><><><><><><><><><><><><><><><><> 🐫 [ocaml-base-compiler.4.09.0] downloaded from cache at https://opam.ocaml.org/cache <><> Processing actions <><><><><><><><><><><><><><><><><><><><><><><><><><> 🐫 ∗ installed base-bigarray.base ∗ installed base-threads.base ∗ installed base-unix.base [ERROR] The compilation of ocaml-base-compiler failed at "/Users/krouton/.opam/opam-init/hooks/sandbox.sh build make -j15 world". #=== ERROR while compiling ocaml-base-compiler.4.09.0 =========================# # context 2.0.7 | macos/x86_64 | | https://opam.ocaml.org#0f1d4fba # path ~/.opam/4.09.0/.opam-switch/build/ocaml-base-compiler.4.09.0 # command ~/.opam/opam-init/hooks/sandbox.sh build make -j15 world # exit-code 2 # env-file ~/.opam/log/ocaml-base-compiler-4548-6cc03f.env # output-file ~/.opam/log/ocaml-base-compiler-4548-6cc03f.out ### output ### # ld: symbol(s) not found for architecture x86_64 # [...] # "_caml_weak_set", referenced from: # _caml_builtin_cprim in prims.o # "_main", referenced from: # implicit entry/start for main executable # ld: symbol(s) not found for architecture x86_64 # clang: error: linker command failed with exit code 1 (use -v to see invocation) # clang: error: linker command failed with exit code 1 (use -v to see invocation) # make[1]: *** [ocamlrund] Error 1 # make[1]: *** Waiting for unfinished jobs.... # make[1]: *** [ocamlruni] Error 1 # make: *** [coldstart] Error 2 <><> Error report <><><><><><><><><><><><><><><><><><><><><><><><><><><><><> 🐫 ┌─ The following actions failed │ λ build ocaml-base-compiler 4.09.0 └─ ┌─ The following changes have been performed (the rest was aborted) │ ∗ install base-bigarray base │ ∗ install base-threads base │ ∗ install base-unix base └─ <><> ocaml-base-compiler.4.09.0 troubleshooting <><><><><><><><><><><><><><> 🐫 => A failure in the middle of the build may be caused by build parallelism (enabled by default). Please file a bug report at https://github.com/ocaml/ocaml/issues => You can try installing again including --jobs=1 to force a sequential build instead. Switch initialisation failed: clean up? ('n' will leave the switch partially installed) [Y/n] Y
特になぜとかは調べてないが、多分同様に詰まる人がいるかもしれないしまた詰まりそうなので自分用にメモを残します
ここではunlinkしているが、私の環境ではuninstallをしないと入らなかった。
github.com
goroutineで自作ランタイム上にsetTimeoutを再現する(実装の手順とcallback-hellもついてくるよ！！)
こんばんは、id:Kroutonです。RustのFutureについて調べていたはずが*1いつの間にかcallbackでsetTimeoutを再現するコードをGoで書いていたのでその実装手順について簡単に書きたいと思います。実用性はほぼないです。
注意書き
筆者がプログラミングを始めた頃にはもうES6(というかBluebirdを使ったPromise)が広まりかけた頃なので、体験したことありませんし間違ってるかもしれません。また、本エントリを読んだことによるPTSDやフラッシュバックなどの症例については一切の責任を負いません。
要件
var rt = NewRuntime() func main() { rt.run(func() { println("これからsetTimeoutをやっていきます") setTimeout(1500, func() { println(3) }) setTimeout(2000, func() { println(4) }) setTimeout(2, func() { println(1) setTimeout(3000, func() { println("こんな風にネストもできるよ、はいおしまい！") }) }) setTimeout(1000, func() { println(2) }) println("1->2->3->4の順番で出るはず") }) }
標準出力
これからsetTimeoutをやっていきます
1->2->3->4の順番で出るはず
1
2
3
4
こんな風にネストもできるよ！はいおしまい！
Playground
初手
package main import ( "time" ) // TODO: そのうちフィールドを用意する type Runtime struct{} func NewRuntime() *Runtime { return &Runtime{} } func (rt *Runtime) run(program func()) { program() } var runtime = NewRuntime() // とりあえず今はsleepして実行するだけ func setTimeout(ms int, callback func()) { time.Sleep(time.Duration(ms) * time.Millisecond) callback() } func main() { runtime.run(func() { println("開始") setTimeout(100, func() { println(2) }) // 待つ時間が少ないこっちが先に実行されたい setTimeout(20, func() { println(1) }) setTimeout(1000, func() { println("終わり") }) }) }
このコードは
開始
2
1
終わり
の順に出力されるので改良が必要ですね(といっても並行処理も何もしてないの当たり前ですが)
setTimeoutでgoroutineを呼んでみる
setTimeoutの実装を次のように変えてみましょう
func setTimeout(ms int, callback func()) { go func() { time.Sleep(time.Duration(ms) * time.Millisecond) callback() }() }
そうすると、実行結果が
開始
になりますね。goroutine自体は作れているのですが、その中でprintlnを呼ぶ前にmainの処理が終わってしまうのでこのようになってしまいます。
なので、次はmain関数が終わらないようにしてみましょう。
メインスレッドを無限ループさせる
Runtime#runを次のようにしましょう
func (rt *Runtime) run(program func()) { program() for { } }
こうすると結果は
開始
まずはこっち
OK
終わり
...(ただし実行は終わらない)
と正しい順番になりつつも無限ループが終わらないといった感じになりますね。ここまで来たら、channelを用意してgoroutine内で値を上手く渡せば無限ループをbreakできそうな感じがしませんか？というわけでそろそろRuntimeのフィールドを追加しましょう。
Runtimeにフィールドを追加してsetTimeoutを実装しきる
type Runtime struct { nextID int callbacks map[int]func() recv chan int } func NewRuntime() *Runtime { recv := make(chan int) return &Runtime{recv: recv, callbacks: map[int]func(){}} } func (rt *Runtime) register(callback func()) int { registeredID := rt.nextID rt.callbacks[registeredID] = callback rt.nextID++ return registeredID } func setTimeout(ms int, callback func()) { callbackID := runtime.register(callback) go func() { time.Sleep(time.Duration(ms) * time.Millisecond) runtime.recv <-callbackID }() }
setTimeoutが呼ばれると、Runtimeのcallbacksにユニークなid(この場合はint)をkey、渡されたcallbackをvalueとしてmapに追加します。そして、goroutine内で指定された時間だけ待った後、 用意したchannel(この場合はruntime.recv)にmapに追加したkeyを送信します。
完成
func (rt *Runtime) run(program func()) { program() for { callbackID := <-rt.recv callback := rt.callbacks[callbackID] delete(rt.callbacks, callbackID) callback() if len(rt.callbacks) == 0 { break } } }
最後はRuntime#runを弄って完成です。 setTimeoutで送信されたkeyを受信して、そのcallbackを引いてきてmapから削除し、実行します。登録されたcallbackがすべて空になったら無限ループが終わる。といった感じです。
あとがき
本当はRustを使ったmspcで書きたかったけどGoの方需要がある気がしたので書きなおしました、まあチャンネルがある言語なら大体同じだと思うので好きな言語で書いてみてください、全然わからんとか間違えてるとかご意見あったら
https://twitter.com/Krout0nまで
追記 2020/07/06
package main <200b> import ( "sync" "time" ) <200b> func run(program func()) { program() wg.Wait() println("Done") } <200b> var wg = &sync.WaitGroup{} <200b> func setTimeout(ms int, callback func()) { wg.Add(1) go func() { time.Sleep(time.Duration(ms) * time.Millisecond) callback() wg.Done() }() } <200b> func main() { run(func() { println("開始") setTimeout(100, func() { println("OK") }) // 待つ秒数が少ないこっちが先に実行されたい setTimeout(20, func() { println("まずはこっち") }) setTimeout(1000, func() { println("終わり") }) }) }
これだけでいいらしい、goroutine周りの道具がしっかりあってGoいい感じですね
*1: Introduction - Futures Explained in 200 Lines of Rust このRuntimeのコードもほぼここに乗ってる実装と同じです。 cssamsonさんに圧倒的感謝
thread_localメモ
自分用覚書、thread_local!で定義したstatic変数はスレッド毎に LocalKeyという構造体でwrapされる。各スレッド変数はそれぞれ外側に不変である、可変参照をしたいならRefCellを被せたりする。
use std::cell::RefCell; thread_local! { static X: RefCell<Vec<usize>> = RefCell::new(vec![]); } fn main() { X.with(|v| { println!("initial {:?}", v.borrow()); }); let j = std::thread::spawn(move || { X.with(|v| { v.borrow_mut().push(1000); println!("other thread {:?}", v.borrow()); }); }); j.join().unwrap(); X.with(|v| { println!("after other thread {:?}", v.borrow()); v.borrow_mut().push(1024); }); main_other_fn(); } fn main_other_fn() { X.with(|v| { println!("main_other_fn {:?}", v.borrow()); }); }
initial
other thread [1000]
after other thread
main_other_fn [1024]
SEKIROトロコンした
こんにちは、id:Krouton です。初任給でゲーミングPCを買ったんですけど本当に光るんですね、感動しました。
それはそれとしてこのPCでSEKIROをトロコンしたのでエントリ書きます。Discordで友達にGo Liveで配信しながらやってました。途中から社会人のくせに頻度高すぎて誰も来なくなったのは内緒。
初見はWikiなど禁止、ただし動画勢の友人達ががヒカルの碁のサイのように助言をしてきたりはありましたが。 2週目からはWiki解禁して最低限のボス+気分で中ボスだったので効率重視でやってました。
TL;DR
未トロコン勢
弦ちゃん倒せたらトロコンできるからそこまで頑張って
以下雑に語る
思い出が残ってるところだけ、ネタバレありなので注意されたい。
自作言語の構文を考えるのがめんどくさいそこのアナタ、Rustのマクロで楽してもいいわよ？
最近 とっくんのYouTubeチャンネル - YouTube さんの再度ハマり言語野が支配されてます、id:Krouton です。
事の発端
頭の中の大蛇丸が「今日はexpression-orientedな言語を作っていくことにするわね」「構文を考えるのがめんどくさいそこのアナタ、AST設計からスタートしても良くてよ？」って言ってくる
— 初診15分 (@Krout0n) 2020年5月7日
つまり「言語を作りたいけど具象構文考えるのめんどくせ〜〜！！！！」「パーサジェネレータ使うにしてもそれすら書き下すのもめんどくせ〜〜！！！！！」って時ありますよね？(あってくれ)
そんなアナタのためにS式でASTを表現するのをオススメします。Rustが書きたかったのでそうしましたが、他のマクロがサポートされてる言語なら大体できそう？
TL;DR と まとめ
- (1 + 2) + (3 + 4) を表現するのに
BinOP( Box::new(BinOP(Box::new(Number(1)), Add, Box::new(Number(2)))), Add, Box::new(BinOP(Box::new(Number(3)), Add, Box::new(Number(4)))), )
から
ast!((+ (+ 1 2) (+ 3 4)))
という風にS式で表現できるようになる。Box::newを手書きするのから解放されるようになる。
本編
type AST = Expression; #[derive(Debug, PartialEq)] pub enum Expression { Number(usize), Ident(String), } use Expression::*; impl From<usize> for Expression { fn from(n: usize) -> Self { Number(n) } } impl<'a> From<&'a str> for Expression { fn from(s: &'a str) -> Expression { Ident(s.to_string()) } } macro_rules! ast { ($i:ident) => { Expression::from(stringify!($i)) }; ($e:expr) => { Expression::from($e) }; } fn main() { dbg!(ast!(2)); // Number(2) dbg!(ast!(id)); // Ident("id") }
ここはFromを使ってるだけで特に難しいところはありませんね。ASTとマクロを拡張して関数適用(Apply)を考えてみましょう。
#[derive(Debug, PartialEq)] pub enum Expression { // 略 Apply { fn_lit: Box<Expression>, args: Vec<Expression>, }, } macro_rules! ast { (($fn:tt $( $arg:tt )*)) => { Apply { fn_lit: Box::new(ast!($fn)), args: vec![$( ast!($arg), )*] } }; // 略 ($e:expr) => { Expression::from($e) }; // exprより後にしないと1 や 2が全てIdentになるので最後に置く ($t:tt) => { Expression::from(stringify!($t)) } } ast!((print 1 2)); // Apply { fn_lit: Ident("print"), args: [Number(1), Number(2)] } ast!((+ 1 2)); // Apply { fn_lit: Ident("+"), args: [Number(1), Number(2)] }
ミソとしては四則演算を関数適用として、stringify!で+などの演算子をIdentとして解釈する部分です。これのおかげで、四則演算用のマクロのルールを定義せずに表現できるようになりました。
あとは好きな風にASTを拡張して好きなS式で表現しましょう！
拡張したgist gist.github.com
Special Thanks
- S-expression in Rust macro_rules - Stack Overflow *2 に答えていただいたDenisKolodinさん
- この場を借りて感謝を申し上げます。
- とっくんさん
*1: コンパイラのミドルエンドって滅多に使わない言葉らしいってWikipedia先生が言ってた コンパイラ - Wikipedia
*2: 質問者は私です
Goの[]byte -> stringへのcastってshrinkするんですか？
珍しく技術系の投稿をします(ただし疑問、忘備録
tooEnoughBuf := make([]byte, tooEnoughSize) Write1(tooEnoughBuf, src) string(tooEnoughBuf) == string(src) // false
をしたい時のbufの長さをshrinkする方法を考えています。
なぜこの等価判定がfalseになるかというと
len(tooEnoughBuf) == len(src)
がfalseになるからですね。
func shrinkString(s string) string { var eos byte buf := make([]byte, 0) for _, b := range []byte(s) { if b == eos { break } buf = append(buf, b) } return string(buf) }
のような実装を与えてあげればいいのだろうか・・・？わからない・・・
