しかし、虎昌が齢二十八となった享禄（きょうろく）四年（一五三一）、信虎に叛旗（はんき）を翻した今井信元（のぶもと）に誘われ、主君に逆らってしまった。しかし、河原辺（韮崎）の一戦で大敗し、降参するしかなくなった。
　それから新府の処払いを命じられ、五年間ずっと巨摩郡で蟄居（ちっきょ）していたのである。
　だが、今川の要請で北条勢を挟撃するための援軍となるという条件を受け入れることで蟄居を解かれた。しかも、戦働きで手柄を上げれば、正式な帰参を許されるという。
　飯富虎昌はまだ若いが、甘利虎泰に匹敵するほどの剛の者と見られていた。
「駿河守殿、若君様にお目通りすることは叶（かな）いませぬか」
　虎昌が信方に願い出る。
「おお、若にか」
「御元服のお祝いも差し上げられず、御初陣に参じることもできず、心苦しい思いをしておりました。是非、直（じか）に出陣のご挨拶を申し上げたいと存じまする」
「それは若もお喜びになるであろう。では、このまま一緒に参ろう」
　信方は飯富虎昌を連れ、晴信のもとへ向かった。
　面会を許された虎昌は、恐縮しながら蟄居から復帰に至る事情を述べる。
　晴信はそれを黙って聞いていた。
「……さような経緯がありまして、不肖、この飯富兵部少輔（ひょうぶのしょうゆう）虎昌めがこたび、御屋形様のお許しをいただき、陣の端に加えていただくことになりました。出陣に際しまして、是非とも若君様にご挨拶を申し上げたく思い、御無礼と存じながらも急遽（きゅうきょ）、駿河守殿にお目通りをお願いいたしました次第にござりまする。重ねて、御元服と御初陣のお祝いが遅れましたことをお詫びしつつ、見事な御初陣の勝利をお慶び申し上げまする」
　虎昌は両手をついて深々と頭を下げる。
「兵部殿、出陣の支度が忙しき中、わざわざお訪ねいただき、かたじけなし。武田も何かと大変な時ゆえ、戻ってくれたことはまことに有り難し。今後ともよろしく頼む」
　晴信は笑顔で答えた。
「兵部殿などという呼び名は、もったいのうござりまする。虎昌と呼び捨てにしてくださりませ」
「ああ、さようか……。ところで、虎昌殿は富士のどちら側へ出陣することになるのであろうか？」
「はっ？」
　虎昌が怪訝（けげん）そうに顔を上げる。
「……どちら側と申されますると？」