Sachverhalt:
A._ und B._ haben die 2010 geborene Tochter C._, die unter der elterlichen Sorge der Mutter steht und für die mit Entscheid der damaligen Vormundschaftsbehörde Basel-Stadt vom 8. Februar 2011 eine Erziehungsbeistandschaft errichtet wurde.
Mit Schreiben vom 16. November 2016 beantragte die Beiständin bei der KESB Basel-Stadt die Sistierung des Besuchsrechts des Vaters. Anlässlich persönlicher Anhörungen am 14. August 2017 und 6. Mai 2019 bekräftigte C._, dass sie zum Vater weder persönlichen noch schriftlichen Kontakt wolle.
Mit Entscheid vom 13. Juni 2019 sistierte die KESB gestützt auf <ref-law> den persönlichen Verkehr zwischen Vater und Tochter, wies die väterlichen Anträge auf psychiatrische Begutachtung der Tochter und Entfernung der Polizeirapporte aus den Akten ab und hob die Erziehungsbeistandschaft auf, unter Genehmigung des diesbezüglichen Schlussberichtes. Einer allfälligen Beschwerde entzog sie die aufschiebende Wirkung.
Gegen diesen Entscheid erhob A._ am 15. Juli 2019 eine Beschwerde. Mit Verfügung vom 17. Juli 2019 lud der Präsident des Appellationsgerichtes Basel-Stadt die KESB zur Vernehmlassung ein und wies das Gesuch um Wiederherstellung der aufschiebenden Wirkung ab, namentlich mit der Begründung, begleitete Besuche, wie sie früher stattgefunden hätten, seien angesichts des Strafvollzuges gar nicht mehr möglich und würden von der Tochter ohnehin seit langem verweigert; es sei deshalb kein praktisches Interesse an der Wiederherstellung der aufschiebenden Wirkung ersichtlich, sondern vielmehr überwiege das Interesse an der vorläufigen Sistierung des Besuchsrechts unter dem Vorbehalt der Überprüfung des angefochtenen Entscheides.
Gegen diese Verfügung hat A._ am 16. August 2019 beim Bundesgericht eine Beschwerde eingereicht, soweit vorliegend interessierend mit dem Begehren um Wiederherstellung der aufschiebenden Wirkung im kantonalen Beschwerdeverfahren. Ferner verlangt er die unentgeltliche Rechtspflege.

Erwägungen:
1.
Der Beschwerdeführer stellt eine ganze Kette von Rechtsbegehren, welche sich zum Teil auch auf das Besuchsrecht selbst und zum Teil auf andere Verfahren beziehen. Gegenstand der angefochtenen Verfügung bildet aber allein die Frage der aufschiebenden Wirkung im Verfahren VD.2019.131. Soweit der Beschwerdeführer mehr oder anderes verlangt, als im angefochtenen Akt beurteilt wurde, ist auf die Beschwerde von vornherein nicht einzutreten (vgl. <ref-ruling> E. 4.2 S. 462 f.; <ref-ruling> E. 3.4.2 S. 365; <ref-ruling> E. 4.4.2 S. 156).
2.
Beschwerdegegenstand bildet wie gesagt ein Entscheid über die aufschiebende Wirkung, was eine vorsorgliche Massnahme im Sinn von <ref-law> darstellt (<ref-ruling> E. 1.5 S. 197; Urteile 5A_665/2018 vom 18. September 2018; 5A_513/2019 9. Juli 2019); bei solchen Entscheiden können gemäss <ref-law> nur verfassungsmässige Rechte als verletzt gerügt werden, wofür das strikte Rügeprinzip gemäss <ref-law> gilt.
Gleichzeitig geht es bei der aufschiebenden Wirkung um einen Zwischenentscheid (vgl. <ref-ruling> E. 1.5 S. 197; Urteile 5A_665/2018 vom 18. September 2018; 5A_513/2019 9. Juli 2019), der nur unter den besonderen Voraussetzungen von <ref-law> mit Beschwerde beim Bundesgericht angefochten werden kann, wobei diese in der Beschwerde darzutun sind (<ref-ruling> E. 1.1 S. 329; <ref-ruling> E. 1.3 S. 292).
3.
Was die Frage der Anfechtbarkeit des Zwischenentscheides anbelangt, kann eine Begründung des nicht wieder gutzumachenden Nachteils im Sinn von <ref-law> sinngemäss daraus abgeleitet werden, dass ihm ohne Kontakt zum Kind nach der bevorstehenden Entlassung aus dem Strafvollzug die Ausweisung drohe. Kinderbelange generell und Besuchsrechtsangelegenheiten im Speziellen haben sich aber am Kindeswohl auszurichten (vgl. <ref-ruling> E. 5 S. 212; <ref-ruling> E. 5.4 S. 340; <ref-ruling> E. 4.2 S. 615). Es wäre deshalb darzutun, inwiefern die während des kantonalen Beschwerdeverfahrens aufrechterhaltene Sistierung des Besuchsrechts angesichts der konkreten Umstände im Zusammenhang mit dem Kindeswohl einen nicht wieder gutzumachenden Nachteil bewirken soll.
Im Übrigen bleiben die Ausführungen rein appellatorisch, obwohl nach dem Gesagten bei vorsorglichen Massnahmen zur Beschwerdebegründung substanziierte Verfassungsrügen notwendig wären. Dies gilt auch für die - ohnehin unzutreffende (vgl. § 42 Abs. 1 GOG/BS, SG 154.100) - Behauptung, die angefochtene Verfügung leide an einem formellen Mangel, weil sie in Verletzung von § 92 Abs. 1 GOG/BS präsidialiter und nicht in Dreierbesetzung erlassen worden sei.
4.
Auch in Bezug auf die Befangenheitsrüge gegenüber dem Appellationsgerichtspräsidenten erfolgt - abgesehen von der Frage der diesbezüglichen Entscheidzuständigkeit im Rahmen des Instanzenzuges - eine untaugliche Begründung: Der Beschwerdeführer verweist auf ein in seiner Sache ergangenes Besuchsrechtsurteil des Appellationsgerichtes vom 23. Juli 2017, bei welchem der Präsident ebenfalls mitwirkte und in dessen E. 2.4.1 festgehalten wird: "Da sich der Rekurrent auch in Anwesenheit seiner Tochter zu Gewaltexzessen hat hinreissen lassen, durfte das Verhältnis zu seiner Tochter als nicht unbelastet qualifiziert und ihm nur ein beschränktes Besuchsrecht zugestanden werden." Indes ist ein Richter nicht allein deshalb befangen, weil er in einem früheren Verfahren zwischen den gleichen Parteien geurteilt hat (<ref-ruling> E. 4.2.2.2 S. 466 f.; <ref-ruling> E. 3 S. 74) und auch die konkrete Begründung der damals zu beurteilenden Einschränkung des Besuchsrechts wäre nicht geeignet, eine Befangenheit im heutigen Verfahren zu bewirken.
5.
Nach dem Gesagten erweist sich die Beschwerde teils als unzulässig und im Übrigen als offensichtlich nicht hinreichend begründet, weshalb auf sie nicht eingetreten werden kann und der Präsident im vereinfachten Verfahren entscheidet (Art. 108 Abs. 1 lit. a und b BGG).
6.
Wie die vorstehenden Erwägungen zeigen, konnte der Beschwerde von Anfang an kein Erfolg beschieden sein, weshalb es an den materiellen Voraussetzungen der unentgeltlichen Rechtspflege fehlt (<ref-law>) und das entsprechende Gesuch abzuweisen ist.
7.
Die Gerichtskosten sind dem Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt der Präsident:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3.
Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird dem Beschwerdeführer, der KESB Basel-Stadt und dem Appellationsgericht Basel-Stadt schriftlich mitgeteilt.
Lausanne, 22. August 2019
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Herrmann
Der Gerichtsschreiber: Möckli