<div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Nov 7, 2016 at 12:34 PM, O'Driscoll, Tim <span dir="ltr"><<a href="mailto:tim.odriscoll@intel.com" target="_blank">tim.odriscoll@intel.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class=""><br>
> -----Original Message-----<br>
> From: moving [mailto:<a href="mailto:moving-bounces@dpdk.org">moving-bounces@dpdk.<wbr>org</a>] On Behalf Of Jerome Tollet<br>
> (jtollet)<br>
> Sent: Monday, November 7, 2016 10:27 AM<br>
> To: Thomas Monjalon <<a href="mailto:thomas.monjalon@6wind.com">thomas.monjalon@6wind.com</a>>; Xu, Qian Q<br>
> <<a href="mailto:qian.q.xu@intel.com">qian.q.xu@intel.com</a>><br>
> Cc: <a href="mailto:moving@dpdk.org">moving@dpdk.org</a>; Liu, Yong <<a href="mailto:yong.liu@intel.com">yong.liu@intel.com</a>>; <a href="mailto:ci@dpdk.org">ci@dpdk.org</a><br>
> Subject: Re: [dpdk-moving] proposal for DPDK CI improvement<br>
><br>
</span><span class="">> Hi Thomas & Qian,<br>
> IMHO, performance results should be centralized and executed in a<br>
> trusted & controlled environment.<br>
> If official DPDK numbers are coming from private lab’s vendors,<br>
> perception might be that they are not 100% neutral. That would probably<br>
> not help DPDK community to be seen open & transparent.<br>
<br>
</span>+1<br>
<br>
Somebody (Jan Blunck I think) also said on last week's call that performance testing was a higher priority than CI for a centralized lab. A model where we have centralized performance test and distributed CI might work well.</blockquote></div><br></div><div class="gmail_extra"><br>+1 to the above approach , yet I still see value in publishing both types of performance results as long as they are clearly separated.<br></div><div class="gmail_extra">This might might need a way to retroactively mark some results as "proved invalid" but otoh encourage a cycle of propagating distributed tests proved beneficial correct and unbiased to the central tests.<br><br></div><div class="gmail_extra">/Arnon<br></div><div class="gmail_extra"><br></div></div>