転職に失敗してしまった場合、その後どうするのがいいのでしょうか

自分に合う会社が見つかるまで、転職を繰り返すか、会社に適応するしかないと思います。

人間関係や就労環境の問題でなければ基本的には贅沢な悩みの分類だと思います。

自分が変われば解決するのであれば、他人を変えるより、よっぽど簡単です。

何が問題でどうするべきかを洗い出して具体的にやるべき事を考えてみてはいかがでしょうか。

小さな会社を経営しております。プログラマーです。

仕事が結果的にうまくいったり、うまくいかなかったりすることはあるかと思います。
せっかく雇った人が思ったようなパフォーマンスが出ない問題は、会社が悩むべきことであって、質問者様が悩むことではないですよ。

今までの経験を別の環境で試して学ぶことができてるなら、あまり結果は見ない・モチベーションとか言わずにただ仕事をすればいいのではないでしょうか。打率がどうなんてのは他人の問題であって打席に入ってバットを振るだけですよ。
ホントにダメだとしても一度転職できたのですから、たぶん次もありますよ。

普通と思います。

ひと握りのハイパフォーマーを除けば、基本的に組織力だったり人間関係だったりで成果を出すものです。（もちろん仕事によりますが）ですので、よく馴染んだ環境での仕事ぶりはそのまま次に…とはいかないわけです。
このステージから次へ進むのに、個人的に半年から1年くらいはかかると思っています。まずは焦らずじっくりいきましょう。

また復職後…という事ですが、ぜひ、関係者の人達とご飯食べたりお酒飲んだりしながら、色々な事を話してみて下さい。コミュニケーションが基本、です。