<div dir="ltr"><div>> What, in more detail, are you trying to achieve by identifying packages with tests?</div><div>Our main goal is to show that if you build a package under our tool (using ./ourTool dpkg-buildpackage -uc -us -b):</div><div>1) the package will always build the same way (assuming same environment, compiler version, libraries, etc). We verify this using reprotest + continuous integration system.</div><div>2) The reviewers of our last publication submission were concerned about "correctness". That is, does our generated deb file have equivalent semantics to that of a deb file built without our tool. Basically, they're concerned out dynamic manipulation leads to an incorrect build. So we want to run the unit tests for a few packages (a dozen or so) to show that the package still works as intended after going through our tool.</div><div><br></div><div>That's why I'm trying to identify some packages with tests to run.<br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Feb 21, 2019 at 11:35 AM Chris Lamb <<a href="mailto:lamby@debian.org">lamby@debian.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Hi Omar,<br>
<br>
> Is there some way to identify which packages which have built in tests?<br>
<br>
Unfortunately there is no canonical or general way to identify<br>
Debian packages that "run" a testuite.<br>
<br>
Not only will many packages will always tests as part of their<br>
build, there are a myriad of ways in which the various Debian<br>
build systems will attempt locate and run tests.<br>
<br>
Just as a concrete example, the "debian/rules" package for<br>
countless packages is merely:<br>
<br>
    #!/usr/bin/make -f<br>
<br>
    %:<br>
            dh $@<br>
<br>
.. which will automatically look for a Makefile (or similar) and<br>
then magically work out whether there is a "tests" target, etc. etc.<br>
There are parallel ones for Python, Go, CMake, etc. etc. Even if we<br>
could list them all, I am sure we would be missing 50% of them.<br>
<br>
Furthermore, some test failures are deliberately ignored for good<br>
reasons so knowing that a package "had" a testsuite would not make<br>
running those tests particularly meanintful.<br>
<br>
What, in more detail, are you trying to achieve by identifying<br>
packages with tests? I suspect there may be a better solution.<br>
<br>
<br>
Regards,<br>
<br>
-- <br>
      ,''`.<br>
     : :'  :     Chris Lamb<br>
     `. `'`      <a href="mailto:lamby@debian.org" target="_blank">lamby@debian.org</a> 🍥 <a href="http://chris-lamb.co.uk" rel="noreferrer" target="_blank">chris-lamb.co.uk</a><br>
       `-<br>
</blockquote></div>