不过为自己父亲辩驳一句“此事存疑，还请祖父明察”就被许义峥打上了“不敬长辈，忤逆不孝”的大帽子，直言他“不配为许氏族人”。

除了忠心耿耿、誓死追随自己的一些忠仆，父子二人一无所有地离开了许家，不仅在岐州城被所有部族排挤，连个赚钱活计都找不到，更是被不少人刁难欺辱，甚至还有暗杀。后来一路颠沛流离才在远离岐州城的甸山安顿下来。